RAG实战难题：探究分块（Chunking）技术在应用中的挑战与对策

背景

构建基于大型语言模型（LLM）的应用程序需要将LLM的回答与我们行业的特定领域数据结合起来。

尽管微调LLM可以使其更了解特定领域，但仍可能存在不准确和幻觉的问题。

因此，出现了检索增强生成（RAG）技术，以便让LLM的回答基于具体数据并提供来源支持。

RAG的工作原理

RAG的工作原理是为你想使用的数据片段创建文本嵌入，这样可以将源文本的一部分放入LLM用来生成回答的语义空间中。同时，RAG系统还能返回源文本，这样LLM的回答就有了人类撰写的文本作为支持，并且附带引用。

1、构建索引

将分块后的文本数据构建索引，以便快速检索相关块。

from sklearn.feature_extraction.text import TfidfVectorizer      def build_index(chunks):       vectorizer = TfidfVectorizer()       X = vectorizer.fit_transform(chunks)       return vectorizer, X

2、检索相关块

根据查询在索引中检索相关的文本块。

def retrieve_chunks(query, vectorizer, X, top_k=5):       query_vec = vectorizer.transform([query])       scores = (X * query_vec.T).toarray()       top_indices = scores.flatten().argsort()[-top_k:][::-1]       return top_indices

3、生成响应

将检索到的相关块提供给LLM，生成最终的响应。

def generate_response(query, chunks, vectorizer, X, model):       top_indices = retrieve_chunks(query, vectorizer, X)       relevant_chunks = [chunks[i] for i in top_indices]       context = ' '.join(relevant_chunks)       response = model.generate_response(query, context)       return response

在RAG系统中，我们需要特别注意数据片段的大小。

如何划分数据就是所谓的分块，这比直接嵌入整篇文档要复杂得多。

什么是分块？

分块（Chunking）是将长文档或数据集切割成较小的、独立的部分，以便于处理、存储和检索。

这种方法在处理大规模文本数据时尤为重要，因为LLM对长文本的处理能力有限。

分块的优点

• • 减少计算资源消耗：处理较小的文本块比处理整篇长文档消耗的资源少。

• • 提高检索效率：较小的块可以加快搜索和匹配过程，因为每个块包含的信息更集中。

• • 提升生成质量：模型可以更专注于特定的内容块，从而生成更准确和相关的响应。

为什么分块很重要？

在构建基于大型语言模型（LLM）的应用程序时，分块数据的大小对于搜索结果的准确性至关重要。

当你嵌入一段数据时，整个数据会被转换为一个向量

如果一个块包含的内容过多，向量就会失去对特定内容的准确描述。

如果分块太小，则会失去数据的上下文。

Pinecone 公司的 Roie Schwaber-Cohen指出：“开始思考如何将我的内容分成更小的块的原因是，这样当我检索时，它实际上能够命中正确的内容。你将用户的查询嵌入，然后将其与内容的嵌入进行比较。如果你嵌入的内容大小与用户查询的大小差异很大，你就更可能得到较低的相似度得分。”

如何考虑大小

考虑到查询和响应的大小也至关重要。根据 Schwaber-Cohen 的观点，你将文本块向量与查询向量进行匹配。

但你还需要考虑作为响应的块的大小。

例如，如果你嵌入了整章的内容而不是一页或一段，向量数据库可能会在查询和整章之间找到一些语义相似性。

但所有章节都相关吗？可能不是。

更重要的是，LLM 能否从检索到的内容和用户的查询中产生相关的响应？

最佳策略选择

分块并不是一个简单的问题。行业并没有一种通用的标准。

最佳的分块策略取决于具体的用例。

幸运的是，你不仅仅是简单地对数据进行分块、向量化然后碰运气。

你还有元数据。这可以是指向原始块或更大文档部分的链接、类别和标签、文本，或者实际上任何内容。

正如 Schwaber-Cohen 所说：“这有点像一个 JSON blob，你可以用它来过滤东西。如果你只是在寻找特定子集的数据，你可以大大减少搜索空间，并且你可以使用元数据将你在响应中使用的内容链接回原始内容。”

总而言之，大小很重要。而选择最佳的分块策略和利用元数据则可以进一步提高检索和响应的效率和准确性。

分块策略

一般有以下四种分块策略：

1、固定大小块分块策略（fixed sizes）

在处理数据时，一种常见的方法是将文本分成固定大小的块。这种方法适用于内容格式和大小相似的数据集，如新闻文章或博客帖子。虽然这种方法成本较低，但它并未考虑到分块内容的上下文，可能对某些应用场景影响不大，但对于其他场景可能非常重要。

示例：

def chunk_text(text, chunk_size=500):       words = text.split()       chunks = []       current_chunk = []       current_length = 0       for word in words:           current_length += len(word) + 1  # 计算单词长度和空格           if current_length > chunk_size:               chunks.append(' '.join(current_chunk))               current_chunk = [word]               current_length = len(word) + 1           else:               current_chunk.append(word)       chunks.append(' '.join(current_chunk))  # 添加最后一个块       return chunks

2、随机块分块策略（ random chunk sizes）

如果数据集包含多种文档类型，一种可行的方法是使用随机大小的块。这种方法可能捕捉到更广泛的语义上下文和主题，而不受任何给定文档类型的约定的限制。然而，随机块可能导致文本被打断，产生无意义的块。

3、滑动窗口分块策略（sliding windows）

滑动窗口方法是一种常用的分块策略，它使新的块与前一个块的内容重叠，并包含部分内容。这样可以更好地捕捉每个块周围的上下文，提高整个系统的语义相关性。然而，这也需要更多的存储空间，并可能导致冗余信息，使搜索过程变慢，并增加RAG系统提取正确来源的难度。

4、上下文感知分块策略（Context-aware chunking）

上下文感知分块方法根据标点符号或Markdown/HTML标签等语义标记将文本分块。这种方法可以递归地将文档分成更小、重叠的片段，每个片段都能保持上下文的完整性。尽管这种方法可以提供良好的结果，但它需要额外的预处理来分割文本，可能增加了计算需求，从而减慢了分块过程。

确定最佳方法

要确定适合你用例的最佳分块策略，需要一些工作。

测试不同方法的效果，并根据评估结果选择最佳策略。通过人工审核和LLM评估器对它们进行评分。当你确定哪种方法表现更好时，你可以通过基于余弦相似度分数对结果进行进一步过滤来进一步增强结果。

分块只是生成式AI技术拼图中的一部分，我们还需要LLM、矢量数据库和存储。

最重要的是，要有一个明确的目标，这样才能确保项目取得成功。

既然大模型现在这么火热，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。