背景
构建基于大型语言模型(LLM)的应用程序需要将LLM的回答与我们行业的特定领域数据结合起来。
尽管微调LLM可以使其更了解特定领域,但仍可能存在不准确和幻觉的问题。
因此,出现了检索增强生成(RAG)技术,以便让LLM的回答基于具体数据并提供来源支持。
RAG的工作原理
RAG的工作原理是为你想使用的数据片段创建文本嵌入,这样可以将源文本的一部分放入LLM用来生成回答的语义空间中。同时,RAG系统还能返回源文本,这样LLM的回答就有了人类撰写的文本作为支持,并且附带引用。
1、构建索引
将分块后的文本数据构建索引,以便快速检索相关块。
from sklearn.feature_extraction.text import TfidfVectorizer def build_index(chunks): vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(chunks) return vectorizer, X
2、检索相关块
根据查询在索引中检索相关的文本块。
def retrieve_chunks(query, vectorizer, X, top_k=5): query_vec = vectorizer.transform([query]) scores = (X * query_vec.T).toarray() top_indices = scores.flatten().argsort()[-top_k:][::-1] return top_indices
3、生成响应
将检索到的相关块提供给LLM,生成最终的响应。
def generate_response(query, chunks, vectorizer, X, model): top_indices = retrieve_chunks(query, vectorizer, X) relevant_chunks = [chunks[i] for i in top_indices] context = ' '.join(relevant_chunks) response = model.generate_response(query, context) return response
在RAG系统中,我们需要特别注意数据片段的大小。
如何划分数据就是所谓的分块,这比直接嵌入整篇文档要复杂得多。
什么是分块?
分块(Chunking)是将长文档或数据集切割成较小的、独立的部分,以便于处理、存储和检索。
这种方法在处理大规模文本数据时尤为重要,因为LLM对长文本的处理能力有限。
分块的优点
-
减少计算资源消耗:处理较小的文本块比处理整篇长文档消耗的资源少。
-
提高检索效率:较小的块可以加快搜索和匹配过程,因为每个块包含的信息更集中。
-
提升生成质量:模型可以更专注于特定的内容块,从而生成更准确和相关的响应。
为什么分块很重要?
在构建基于大型语言模型(LLM)的应用程序时,分块数据的大小对于搜索结果的准确性至关重要。
当你嵌入一段数据时,整个数据会被转换为一个向量
如果一个块包含的内容过多,向量就会失去对特定内容的准确描述。
如果分块太小,则会失去数据的上下文。
Pinecone 公司的 Roie Schwaber-Cohen指出:“开始思考如何将我的内容分成更小的块的原因是,这样当我检索时,它实际上能够命中正确的内容。你将用户的查询嵌入,然后将其与内容的嵌入进行比较。如果你嵌入的内容大小与用户查询的大小差异很大,你就更可能得到较低的相似度得分。”
如何考虑大小
考虑到查询和响应的大小也至关重要。根据 Schwaber-Cohen 的观点,你将文本块向量与查询向量进行匹配。
但你还需要考虑作为响应的块的大小。
例如,如果你嵌入了整章的内容而不是一页或一段,向量数据库可能会在查询和整章之间找到一些语义相似性。
但所有章节都相关吗?可能不是。
更重要的是,LLM 能否从检索到的内容和用户的查询中产生相关的响应?
最佳策略选择
分块并不是一个简单的问题。行业并没有一种通用的标准。
最佳的分块策略取决于具体的用例。
幸运的是,你不仅仅是简单地对数据进行分块、向量化然后碰运气。
你还有元数据。这可以是指向原始块或更大文档部分的链接、类别和标签、文本,或者实际上任何内容。
正如 Schwaber-Cohen 所说:“这有点像一个 JSON blob,你可以用它来过滤东西。如果你只是在寻找特定子集的数据,你可以大大减少搜索空间,并且你可以使用元数据将你在响应中使用的内容链接回原始内容。”
总而言之,大小很重要。而选择最佳的分块策略和利用元数据则可以进一步提高检索和响应的效率和准确性。
分块策略
一般有以下四种分块策略:
1、固定大小块分块策略(fixed sizes)
在处理数据时,一种常见的方法是将文本分成固定大小的块。这种方法适用于内容格式和大小相似的数据集,如新闻文章或博客帖子。虽然这种方法成本较低,但它并未考虑到分块内容的上下文,可能对某些应用场景影响不大,但对于其他场景可能非常重要。
示例:
def chunk_text(text, chunk_size=500): words = text.split() chunks = [] current_chunk = [] current_length = 0 for word in words: current_length += len(word) + 1 # 计算单词长度和空格 if current_length > chunk_size: chunks.append(' '.join(current_chunk)) current_chunk = [word] current_length = len(word) + 1 else: current_chunk.append(word) chunks.append(' '.join(current_chunk)) # 添加最后一个块 return chunks
2、随机块分块策略( random chunk sizes)
如果数据集包含多种文档类型,一种可行的方法是使用随机大小的块。这种方法可能捕捉到更广泛的语义上下文和主题,而不受任何给定文档类型的约定的限制。然而,随机块可能导致文本被打断,产生无意义的块。
3、滑动窗口分块策略(sliding windows)
滑动窗口方法是一种常用的分块策略,它使新的块与前一个块的内容重叠,并包含部分内容。这样可以更好地捕捉每个块周围的上下文,提高整个系统的语义相关性。然而,这也需要更多的存储空间,并可能导致冗余信息,使搜索过程变慢,并增加RAG系统提取正确来源的难度。
4、上下文感知分块策略(Context-aware chunking)
上下文感知分块方法根据标点符号或Markdown/HTML标签等语义标记将文本分块。这种方法可以递归地将文档分成更小、重叠的片段,每个片段都能保持上下文的完整性。尽管这种方法可以提供良好的结果,但它需要额外的预处理来分割文本,可能增加了计算需求,从而减慢了分块过程。
确定最佳方法
要确定适合你用例的最佳分块策略,需要一些工作。
测试不同方法的效果,并根据评估结果选择最佳策略。通过人工审核和LLM评估器对它们进行评分。当你确定哪种方法表现更好时,你可以通过基于余弦相似度分数对结果进行进一步过滤来进一步增强结果。
分块只是生成式AI技术拼图中的一部分,我们还需要LLM、矢量数据库和存储。
最重要的是,要有一个明确的目标,这样才能确保项目取得成功。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。