RAG 常见分块策略全解析：一文了解7种分块方法【附代码】

最新推荐文章于 2025-04-23 20:29:25 发布
最新推荐文章于 2025-04-23 20:29:25 发布
阅读量869 收藏 25
点赞数 22
文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengzizi/article/details/147259858
版权

在这里插入图片描述

引言

在检索增强生成（RAG）系统中，分块策略是决定系统性能的基石。本文基于 2023 - 2025 年最新研究成果，深度剖析 12 种分块方法的实现原理，并通过 Python 代码演示其应用场景。

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。
知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。
欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

【大模型篇】更多阅读：
【大模型篇】万字长文从OpenAI到DeepSeek：大模型发展趋势及原理解读
【大模型篇】目前主流 AI 大模型体系全解析：架构、特点与应用
【大模型篇 】 Grok-3 与 DeepSeek 的技术架构与性能分析
【大模型篇】速读版DeepSeek核心技术解密：与 GPT-4、Claude、LLaMA 技术路线差异对比分析

一、为什么需要分块？

1.1 上下文窗口限制

RAG 模型中的检索部分会从文档库中检索与用户查询相关的文本块，这些文本块将作为上下文输入到生成模型中。然而，生成模型（如大型语言模型，LLM）的上下文窗口是有限的，这意味着它能够处理的输入文本长度是有限制的。例如，许多 LLM 的上下文窗口最多只能容纳 2048 个令牌（tokens）。如果检索到的文本块过大，超出了这个限制，就无法完整地输入到生成模型中，从而可能导致生成的响应不准确或不完整。通过将文档分块，可以确保每个块的大小都在生成模型的上下文窗口范围内，从而使模型能够有效地处理和生成高质量的响应。

大型语言模型（LLM）存在严格的 Token 限制：

  • GPT - 4：32K Token
  • Claude 3：200K Token
  • Gemini 1.5：1M Token

尽管上下文窗口持续扩大，但处理 100 页以上的文档仍需要分块机制。以 1M Token 的 Gemini 1.5 为例：

  • 单 Token ≈ 0.75 个英文单词
  • 1M Token ≈ 75 万单词 ≈ 750 页 A4 纸
    实际业
最低0.47元/天 解锁文章
RAG 常见分块策略全解析：从原理到代码实践（2025 深度版）
大F子的智能小课
03-10 250
然而，生成模型（如大型语言模型，LLM）的上下文窗口是有限的，这意味着它能够处理的输入文本长度是有限制的。如果检索到的文本块过大，超出了这个限制，就无法完整地输入到生成模型中，从而可能导致生成的响应不准确或不完整。通过将文档分块，可以确保每个块的大小都在生成模型的上下文窗口范围内，从而使模型能够有效地处理和生成高质量的响应。例如，在一个包含多个主题的长文档中，分块可以将不同主题的内容分割开来，使得检索系统能够针对特定主题进行更精确的检索。在检索增强生成（RAG）系统中，分块策略是决定系统性能的基石。
大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 298
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
RAG专栏：分块策略
m0_37145844的博客
03-26 934
文档数据（Documents）经过解析后，通过分块技术将信息内容划分为适当大小的文档片段（chunks），从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则，将较长文本拆解为更小的单元。分块策略有多种，各有侧重，选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。
一文搞懂大模型 - RAG（检索、增强、生成）
kuokay的博客
03-22 1116
RAG（检索-增强-生成，Retrieval-Augmented Generation）是一种结合了信息检索与文本生成的技术框架，旨在通过动态引入外部知识提升生成模型的效果。
RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking）
2401_85373691的博客
12-12 1377
LangChain 还预定义了其他编程语言（如 Go、C++、Java）等的分割符列表，方便用户快速定义新的文本切块类。如果需要处理未提供的文本格式，可以参照已有的类实现。
RAG之文本分块策略
qq_30921029的博客
06-11 770
rag系统在构建向量库时，调用embedding模型之前需要考虑如何将原始文本做分块，好的分块策略可以帮助我们优化从向量库被召回的内容的准确性。
RAG的5种文本分块策略#Text Splitting
shadowcz007的博客
01-16 1万+
你是否曾经尝试将一段很长的文本输入ChatGPT，却被告知文本太长了？或者你是否试图让你的应用程序具有更好的长期记忆，但效果还不够好？提高大语言模型性能的一个有效的策略是将大型数据分割成较小的部分。这个过程被称为分割或分块（Text Splitting）。在这个教程中，介绍了文本分割的5种方法。我阅读后做了些精简，分享给大家，原文可以文末查看原链接。Text Splitting文本分割的方法方法...
RAG文档分块（Chunk）的策略和检索召回优化阶段重排序方法
m0_56299345的博客
09-18 2416
RAG可以总结成如下步骤，本次我们探讨文档分块（Chunk）的策略，以及检索召回优化阶段重排序方法。：这是最常见的分块方法，通过设定块的大小和是否有重叠来决定分块。这种方法简单直接，不需要使用任何NLP库，因此计算成本低且易于使用。：常见的HTML、MARKDOWN格式，或者其他可以有明确结构格式的文档。这种可以借助“结构感知”对文档分块，充分利用文档文本意外的信息。：这种策略旨在确保每个分块包含尽可能多的语义独立信息。
RAG常见13种分块策略大总结（一览表）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-09 628
分块策略在RAG中至关重要，目的是提高效率、相关性和上下文保持。分块能减少计算开销，增加检索相关信息的可能性，同时保持信息完整性。但也存在风险，如上下文丢失、冗余和不一致性。选择策略需考虑文档类型（结构化 vs 非结构化）、查询复杂性、资源可用性和期望结果（速度 vs 准确性 vs 上下文）。以下是13种独特分块策略的详细描述，按策略名称、描述、优点、缺点和实施建议。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1142
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
一文讲透向量数据库 2.0：从索引原理到 RAG 大模型全链路架构
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-07 1057
以前，我们谈的是“用 Faiss 跑检索”。✅多模态向量统一检索（图像、语音、结构化表格都能嵌入）✅多模型共享知识库（Qwen + DeepSeek + GLM 同源调用）✅流式嵌入 + 自动同步文档（文档一变，系统自动更新）✅检索 × Agent 联动（向量检索结果可以驱动动作链）✅与 CI/CD / 反馈系统打通（trace_id × 评分 × 自动再训练）这一篇文章，我们围绕“什么是向量数据库 2.0”为什么大模型时代需要向量数据库向量数据库的原理、结构与算法差异。
RAG分块方法 从固定大小到自然语言处理分块——深入研究文本分块技术
ECNU_sei_mfj的博客
06-26 2243
rag分块方法
RAG--分块
sccum的博客
03-20 819
在基于架构的向量化模型中，每个词汇都会被映射为一个高维向量。为了表示整段文本的语义，通常采用对词向量取平均，或使用特殊标记（如[CLS]）位置的向量作为整体表示。
告别粗暴切分：入门 RAG 文本分块，从策略到优化
最新发布
m0_59235245的博客
04-23 988
检索增强生成（RAG）的性能在很大程度上取决于其检索模块的质量，而文本分块（Chunking）是决定检索质量的关键前置步骤。粗暴或不恰当的分块会导致信息丢失、上下文割裂、检索效率低下等问题，严重影响 RAG 系统的最终表现。本文系统性地探讨了文本分块的核心目标与挑战，从克服上下文窗口限制、提高检索精度、维护上下文完整性等角度阐述了其重要性。接着，详细介绍了固定大小、基于句子、递归字符、基于文档结构等基础分块策略，并给出了结合 Markdown 文档结构的混合分块策略的 Python 实现。
RAG优化攻略：最详细的RAG构建分块策略与实战代码案例
m0_59235699的博客
08-20 2546
在构建基于大语言模型（LLM）的应用程序时，如检索增强生成（RAG）系统，分块（chunking）是一项至关重要的技术。分块是将大块文本分解成较小段落的过程，这使得文本数据更易于管理和处理。通过分块，我们能够更高效地进行内容嵌入（embedding），并显著提升从向量数据库中召回内容的相关性和准确性。在实际操作中，分块的好处是多方面的。首先，它能够提高模型处理的效率，因为较小的文本段落更容易进行嵌入和检索。其次，分块后的文本能够更精确地匹配用户查询，从而提供更相关的搜索结果。
LLM之RAG实战（二十）| RAG分块策略的五个level
wshzd的博客
01-24 2608
在RAG系统中，包括检索和生成两大组件，而检索的关键是对数据的分块策略，本文将根据Greg Kamradt的视频（https://www.youtube.com/watch?递归分块使用一组分隔符，以分层和迭代的方式将文本划分为更小的块。如果最初分割文本的尝试没有产生所需大小的块，则该方法会使用不同的分隔符递归地调用结果块，直到达到所需的块大小。这种方法考虑了内容的流动和结构，但可能不是缺乏明确结构的文件。类，该类允许使用块之间的上下文关系将文档拆分为块，使用嵌入相似性自适应地选择句子之间的断点。
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 1855
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
rag分块策略
03-16
嗯，用户问的是RAG架构中的分块策略实现方法和最佳实践。首先，我需要回忆一下RAG的基本概念。RAG是Retrieval-Augmented Generation，结合检索和生成的模型，分块策略在这里很关键，因为它影响检索的效果。用户可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值