【引】“枯萎,无法回避,如人之生老病死;荒芜,无法接受,如碌碌无为一生。” 这是周六回乡下除草的感受。有所得,有所感,对工程技术也是如此。
将大文档分割成较小的分块是一项关键而复杂的任务,对RAG系统的性能有着重大的影响。一般地,RAG系统旨在通过将基于检索的方法和基于生成的方法相结合,提高产出的质量和相关性。有多种框架提供了文档分块方法,每种方法都有自己的优点和典型用例。或许,利用主题感知的句子嵌入来识别文档中的主题变更,确保每个块封装一个主题会是一种不错的选择。
1.回顾RAG
RAG系统是一个复杂的机器学习模型,它融合了基于检索的技术和生成式AI。RAG 系统的主要目标是通过合并从数据集中检索的信息来提高生成内容的质量和相关性。回顾一下 RAG 系统的工作原理:
-
检索阶段: 系统首先根据输入查询检索相关文档或信息。这个阶段依赖于搜索算法和索引方法来快速识别大量集合中最相关的数据。
-
生成阶段: 一旦检索到相关文档,就会使用一个通常是基于transformer的大语言模型,如 GPT-4来创建一个连贯的、与上下文相适应的响应。此模型使用检索到的信息来确保生成的内容是准确的,而且信息丰富。
RAG 系统的混合特性使它们对于知识密集型任务特别有效,在这些任务中,检索和生成的结合极大地提高了总体性能。
2. 常见的文本分块技术
文本分块是许多自然语言处理任务的基础步骤,可以采用多种技术来确保分块方式保留了语义和上下文。根据任务的具体要求,可以以多种方式来实现文本分块,下面是针对不同需求分块方法:
2.1 按字符分块
此方法将文本分解为单个字符。它适用于需要细粒度文本分析的任务,例如字符级语言模型或某些类型的文本预处理。
2.2 按Token分块
将文本分割成token,是自然语言处理中的一种标准方法。基于令牌的组块对于文本分类、语言建模和其他依赖于token化输入的 NLP 应用程序等任务来说是必不可少的。
2.3 按段落分块
按段落分段整理文本有助于维护文档的整体结构和流程。此方法适用于需要较大上下文的任务,如文档摘要或内容提取。
2.4 递归分块
这涉及到重复地将数据分解成更小的块,通常用于分层数据结构。递归组块有利于需要多级分析的任务,如主题建模或层次聚类。
2.5 语义分块
根据意义而非结构元素对文本进行分组对于需要理解数据上下文的任务至关重要。语义块利用诸如句子嵌入等技术来确保每个块代表一个连贯的主题或想法。
2.6 代理分块
这种方法的重点是在识别和分组文本的基础上增加参与的代理,如人或组织。它在信息抽取和实体识别任务中非常有用,因为理解不同实体之间的角色和关系非常重要。
3.基于Langchain的文本分块技术——5行代码
Langchain 框架中提供了很多可以开箱即用的技术,常见的文本分块技术如下:
-
递归字符分块
-
token分块
-
句子分块
-
正则分块
-
Markdown分块
3.1 递归字符文本分块
此方法基于字符数来递归地分割文本。每个块都保持在指定的长度以下,这对于具有自然段落或句子间断的文档特别有用,确保了块的可管理性和易于处理性,而不会丢失文档的固有结构。
Langchain中的递归字符文本分割器方法根据字符数将文本分割成块,以确保每个块低于指定的长度。这种方法有助于保持文档中段落或句子的自然断开。
from langchain.text_splitter import RecursiveCharacterTextSplitter
text = " long document text here..."
# 初始化 RecursiveCharacterTextSplitter,块大小1k字符以及50个跨文本字符
charSplitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=50)
# 分块
chunks = charSplitter.split_text(text)
# 打印输出
for chunk in chunks:
print(chunk)
3.2 Token文本分块
这种技术使用token划分文档,token可以是单词或词元。在处理具有token限制的大语言模型时,它确保了每个块都符合模型的约束。在自然语言处理任务中,通常使用基于token分块来保持文本的完整性,同时遵守模型的限制。
from langchain.text_splitter import TokenSplitter
text = " long document text ..."
# 初始化TokenSplitter,最大token限制为 512
splitter = TokenSplitter(max_tokens=512)
chunks = splitter.split_text(text)
for chunk in chunks:
print(chunk)
3.3 句子分块
通过在句子边界上分割文本,保持了文本的上下文完整性。句子通常代表完整的思想,这使得这种方法非常适合那些对内容有连贯理解的场景。
from langchain.text_splitter import SentenceSplitter
text = "long document text ..."
# 初始化SentenceSplitter ,每个块最多5个句子
splitter = SentenceSplitter(max_length=5)
chunks = splitter.split_text(text)
for chunk in chunks:
print(chunk)
3.4 正则分块
此方法使用正则表达式来自定义拆分点。它为各种用例提供了最高的灵活性,允许用户根据特定于他们的用例模式来拆分文档。例如,可以在特定关键字或标点符号的每个实例上文档拆分。
from langchain.text_splitter import RegexSplitter
# Example long document text
text = "Your long document text goes here..."
# 用一个模式初始化 RegexSplitter,以双换行符分割文本
splitter = RegexSplitter(pattern=r'\n\n+')
chunks = splitter.split_text(text)
for chunk in chunks:
print(chunk)
3.5 Markdown 的文档分块
该方法专为 markdown文档定制,根据特定元素(如标题、列表和代码块)分割文本,保留了标记文档的结构和格式,使其适合于技术文档和内容管理。
from langchain.text_splitter import MarkdownSplitter
text = "long markdown document..."
splitter = MarkdownSplitter()
chunks = splitter.split_text(text)
for chunk in chunks:
print(chunk)
4. 面向主题的分块技术
大型文档,如学术论文、长篇报告和详细文章,通常包含多个主题。langchain中的分割技术,都难以准确识别主题转换点。这些方法经常会错过细微的转换或错误地识别它们,导致分块重叠。
面向主题的分块技术旨在使用句子嵌入来识别文档中主题的变化。通过标识主题转移的位置,确保每个块封装一个单一的、连贯的主题,具体包括:
-
句子嵌入: 句子嵌入将句子转换成高维向量,从而捕捉句子的语义。通过分析这些向量,我们可以确定主题变化的点。
-
主题检测: 使用为主题建模的相关算法,检测主题的变化并确定分割文档的最佳点。这确保了每个块在主题上是一致的。
-
增强的检索和嵌入: 通过确保每个块代表一个主题,RAG 系统中的检索和嵌入步骤变得更加有效。每个块的嵌入更有意义,从而提高检索性能和响应的准确性。
这种技术已经在过去主题建模的场景下得到了证明,但是它同样适用于 RAG 系统。通过采用这种方法,RAG 系统可以在其生成的内容中实现更高的准确性和相关性,使其更有效地完成复杂和知识密集型的任务。
4.1 生成句子嵌入
可以使用Sentence-BERT (SBERT) 为单个句子生成嵌入,这些嵌入是密集的向量表示,封装了句子的语义内容,使我们能够衡量它们的相似性。
from sentence_transformers import SentenceTransformer
sentences = ["Sentence 1...", "Sentence 2...", ...]
model = SentenceTransformer('paraphrase-MiniLM-L6-v2')
embeddings = model.encode(sentences)
4.2 计算相似度
句子之间的相似度是通过余弦距离或者其他距离度量来衡量的,比如曼哈顿或者欧氏距离。这有助于识别连续句之间的连贯性。
from sklearn.metrics.pairwise import cosine_similarity
similarity_matrix = cosine_similarity(embeddings)
4.3. 差异评分
为了检测主题转换,我们定义了一个参数 n,指定要比较的句子数。该算法根据余弦距离计算差距得分。
import numpy as np
#定义参数
n = 2
# 计算差异评分
gap_scores = []
for i in range(len(embeddings) - n):
similarity = cosine_similarity(embeddings[i:i+n], embeddings[i+n:i+2*n])
gap_scores.append(np.mean(similarity))
为了解决差异分数中的噪声,可以采用平滑算法,窗口大小 k 决定了平滑的程度。
# 定义窗口大小 k
k = 3
# 平滑差异评分
smoothed_gap_scores = np.convolve(gap_scores, np.ones(k)/k, mode='valid')
4.4 边界检测
通过分析平滑后的差距得分来识别局部极小值,这表明潜在的话题转换,可以用阈值来确定重要的边界。
# 检测本地极小值
local_minima = (np.diff(np.sign(np.diff(smoothed_gap_scores))) > 0).nonzero()[0] + 1
# 设置阈值 c
C = 1.5
# 确定显著的界限
significant_boundaries = [i for i in local_minima if smoothed_gap_scores[i] < np.mean(smoothed_gap_scores) - c * np.std(smoothed_gap_scores)]
4.5 分段的聚类
对于较长的文档,类似的主题可能会重新出现。为了处理这个问题,使用类似的内容聚类算法,可以减少冗余并确保每个主题都是唯一表示的。
from sklearn.cluster import KMeans
# 转化为embedding
segment_embeddings = [np.mean(embeddings[start:end], axis=0) for start, end in zip(significant_boundaries[:-1], significant_boundaries[1:])]
# Kmeans 聚类示例
kmeans = KMeans(n_clusters=5)
clusters = kmeans.fit_predict(segment_embeddings)
这里的代码只是示意, 还可以通过自动参数优化、采用 transformer 模型、基于知识图谱的层次分类等方法来进一步增强面向主题感知的分块技术。
5.一句话小结
在RAG系统中, 文本分块技术是必不可少的。对于大型文档而言,可以尝试采用面向主题感知的句子嵌入来提升RAG 系统的性能,使其生成更相关且一致的内容。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。