余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。

GraphRAG经过一些场景验证KG+LLM的范式能够有效的增强RAG系统性能，对于如何联合文档建立多模态的GraphRAG，笔者之前也有过相关分享，如：《下面我们来看一个用RAG的思路构建文档级别知识图谱构建框架思路，这个思路要解决的问题是。传统的知识图谱构建方法面临的问题。整体思路可以参考下。

OpenDocVQA任务的目标是给定一个文档图像集合和一个问题，通过找到相关的文档图像来输出答案。视觉文档检索（Visual Document Retrieval）输入：一个查询问题QQQ和一个文档图像集合II。输出：从集合中检索出与问题相关的kkk个文档图像II，其中k≪Nk \ll Nk≪N（即kkk远小于文档集合的大小）。目标：通过检索相关的文档图像来帮助生成答案。文档视觉问答（DocumentVQA）输入：查询问题QQQ和检索到的文档图像II。

CrossFormer 将文本语义分割任务定义为句子级别的序列标注问题。给定一个文档DD，包含nnn个句子，每个句子sis_isi​被分配一个二分类标签yi∈01yi​∈01。标签yi1y_i = 1yi​1表示由语义连贯性统一的一个段落的终端边界，而yi0y_i = 0yi​0表示在同一主题段落内的连续性。目标是训练一个函数fD→01nfD→01n，能够根据上下文预测每个句子的标签yiy_iyi​。

PathRAG 也是一种新型 Graph-based RAG 方法，通过检索索引图中的关键关系路径，减少噪声并优化 LLM 提示。其核心创新在于基于流的剪枝算法和路径为基础的提示策略，特别适用于捕捉复杂数据集中的关系。（其实可以看做三种Graph-based RAG对比总结（PathRAG、GraphRAG、LightRAG）：•：通过从索引图中检索关键的关系路径来减少冗余信息。PathRAG使用基于流的剪枝算法来识别和提取最相关的路径，从而减少噪声并提高生成答案的质量。

分块策略在RAG中至关重要，目的是提高效率、相关性和上下文保持。分块能减少计算开销，增加检索相关信息的可能性，同时保持信息完整性。但也存在风险，如上下文丢失、冗余和不一致性。选择策略需考虑文档类型（结构化 vs 非结构化）、查询复杂性、资源可用性和期望结果（速度 vs 准确性 vs 上下文）。以下是13种独特分块策略的详细描述，按策略名称、描述、优点、缺点和实施建议。

PIKE-RAG框架的设计目标是提供一个灵活且可扩展的RAG系统，应对工业应用中复杂多样的任务需求。框架的核心是通过有效的知识提取、理解和组织，以及构建连贯的推理逻辑，解决了RAG系统在工业应用中的局限性。下面来看下PIKE-RAG框架及其实现过程，供参考。

HtmlRAG方法通过使用 HTML 而不是纯文本来增强 RAG 系统中的知识表示能力。通过 HTML 清洗和两步块树修剪方法，在保持关键信息的同时缩短了 HTML 文档的长度。这种方法优于现有基于纯文本的RAG的性能。

企业知识库中的模态数据不止文本一个模态，传统的RAG无法解决多模态场景下的问答，：如何检索到与用户问题相关且有用的多模态数据？以及如何将这些数据整合成一个连贯的多模态答案？来看一个简单有效的多模态RAG框架-MuRAR。

RAG的核心思想是通过实时数据检索弥补这一缺陷——在生成答案前，系统先从外部数据源（如数据库、API或互联网）动态检索相关上下文，再结合LLM的知识生成更精准、实时的响应。。检索器（Retriever）：从外部数据源（如向量数据库、知识图谱或网页）中搜索与查询相关的信息。相关技术：如BM25关键词匹配、密集向量搜索等。增强器（Augmenter）:对检索结果进行筛选、排序和整合，提取最相关的片段。相关技术：上下文重排序、多跳检索。

每个语句与检索到的证据进行比较，并标记为**“支持”或“不支持”**（如上图所示，RAFS为每个语句输出一个事实性得分以及“支持”或“不支持”的标签。），基于与信息的对齐情况。这一阶段基于MCTS（蒙特卡洛树搜索）的自生成器，引入了两个新的检索增强动作，动态获取相关外部信息。通过检索增强生成器和RAFS两个阶段，RARE系统地将基于检索的证据整合到推理过程中，优化了推理的连贯性和事实准确性。检索到的文档提供了额外的上下文，丰富了推理轨迹，支持生成器形成更全面、更具上下文相关性的最终答案。

本文单独来看看检索部分的多模态嵌入部分。现有的检索范式缺乏跨模态的统一编码过程，导致两个问题：预处理工作繁琐：需要专门的处理来应对各种文档类型和内容模态，而这些处理往往不完美。例如，HTML文件由于其多样的结构，复杂性较高，使得单一工具难以准确解析所有信息。同样，ppt和PDF通常需要OCR模型来提取文本并分别处理其他内容类型，如表格和图表。处理这些长尾问题较为复杂。破坏文档原始布局信息：解析过程可能导致文档布局信息丢失。文档的视觉呈现可以传达通过内容提取难以捕捉的关键信息。

在基于知识的视觉问答（Knowledge-based VQA）任务中，输入通常是一对图像和问题IQ，并且依赖于可访问的知识库。文章提出的mR2AG框架通过两个新颖的反思操作来解耦生成过程，从而提高答案的质量。mR2AG将生成过程分为三个步骤：执行检索反思（Retrieval-Reflection）以确定是否需要检索，执行相关性反思（Relevance-Reflection）以识别证据段落并生成答案，以及后处理多个候选答案。

AssisTRAG通过集成一个来提升LLMs处理复杂推理任务的能力。和。

M3DOCRAG同样也指出，现有的方法要么专注于单页文档的多模态语言模型，要么依赖于基于文本的RAG方法，这些方法使用OCR等文本提取工具。然而，这些方法在实际应用中存在困难，例如问题通常需要跨不同页面或文档的信息，而MLMs无法处理长文档；并且，文档中重要的视觉元素（如图、表等）往往被文本提取工具忽略。

关于前面已经介绍了（供参考），这次来看看ColPali实践。

AutoML（自动机器学习）是指通过自动化过程，简化机器学习模型的开发、训练和优化，使非专业用户也能有效地构建高性能模型。今天分享的。文章评估了各种RAG技术。分别为的策略。每种技术旨在优化外部知识源与生成过程的整合，以提高LLM输出的准确性。使用教程可以看一下。

文章指出，传统RAG通过向量检索排序召回与Query相关的片段，通过prompt生成回复，LLMs与检索器之间存在语义鸿沟（LLMs难以有效利用检索器提供的信息）。下面来看看这篇文章引入检索信息增强RAG性能的trick。

前期文章提到，多模态的RAG框架ColPali通过视觉语言模型（VLMs）高效地检索纯视觉特征的文档，实现视觉文档问答。本文再来看一个类似工作，VisRAG，一种基于视觉语言模型的检索增强生成（RAG）方法，用于解决多模态文档中的信息利用问题。

前面文章提到，文档智能解析能够有效的增强RAG系统的准确性。可以看到基于PDF的RAG，需要先对pdf进行解析，生成文本chunk，然后再基于文本建索引。这种pipline的方式，每个解析模块都需要放置对应的解析模型，存在着错误传播的问题。因此，笔者看到ColPali时，这种端到端的方案挺有意思，本文来看一看这个思路。

来看一个RAG比赛方案，提出了一个名为EasyRAG的框架，用于自动化网络操作的检索增强生成。该框架旨在解决网络操作中信息检索和生成效率低、准确性差的问题。研究难点包括：如何在保证准确性的前提下提高检索和生成的效率；如何实现简单快速的部署；如何在推理过程中显著减少延迟。比赛地址：competition.aiops-challenge.com。

前面很多期介绍了密集文档场景的RAG方法，今天来看看大量表格场景的RAG怎么做的。现有结合大模型的方法通常需要将整个表格作为输入，这会导致一些挑战，比如位置偏差、上下文长度限制等，尤其是在处理大型表格时。为了解决这些问题，文章提出了TableRAG框架，该框架利用和，以在。这种方法能够更高效地编码数据和精确检索，显著减少提示长度并减轻信息丢失。语言模型读取整个表格。这是最直接的方法，但往往不可行，因为大型表格会超出模型的处理能力。阴影区域表示提供给语言模型的数据，包括所有行和列。

检索增强生成（RAG）已被证明可以提高大型语言模型（LLMs）的事实准确性，但现有方法在有效使用检索到的证据方面往往存在有限的推理能力，特别是当使用开源LLMs时。引入了一个新颖的框架OPEN-RAG，增强基于开源大型语言模型的检索增强推理的能力，特别是处理复杂推理任务时的有限推理能力。

文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。本文介绍了HiQA，这是一个专门为了解决现有RAG在多文档问答（MDQA）环境中的局限性而设计的新型框架，特别是在处理无法区分的多文档时。

文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。本文介绍了HiQA，这是一个专门为了解决现有RAG在多文档问答（MDQA）环境中的局限性而设计的新型框架，特别是在处理无法区分的多文档时。

RAG的兴起，越来越多的人开始关注文档结构化解析的效果，这个赛道变得非常的同质化。关于文档智能解析过程中的每个技术环节的技术点，前期文章详细介绍了很多内容：下面我们简单的看看Docling这个PDF文档解析框架里面都有什么技术。文档智能解析现在非常同质化，实际上能解决自己场景文档解析的实用工具很少，不过可以参考下Docling工程上的具体优化，如多线程等。结合一些其他较强的开源或者自研的小模型，进行替换，打造自己的文档解析工具。

RAG的兴起，越来越多的人开始关注文档结构化解析的效果，这个赛道变得非常的同质化。关于文档智能解析过程中的每个技术环节的技术点，前期文章详细介绍了很多内容：下面我们简单的看看Docling这个PDF文档解析框架里面都有什么技术。文档智能解析现在非常同质化，实际上能解决自己场景文档解析的实用工具很少，不过可以参考下Docling工程上的具体优化，如多线程等。结合一些其他较强的开源或者自研的小模型，进行替换，打造自己的文档解析工具。

往期文章介绍了《【RAG】混合RAG系统，提升复杂推理任务表现》，本文再来看看KDD CUP2024的CRAG的第三名方案，该方案提出WeKnow-RAG方法，结合了知识图谱和基于Web的RAG技术，通过多阶段检索、自评估机制以及智能平衡框架，提高了信息检索的精度和生成答案的可靠性。WeKnow-RAG方法通过结合知识图谱和Web搜索，设计了一个端到端的检索增强生成系统。该方法通过多阶段检索和自评估机制提高了信息检索的效率和准确性，并通过领域分类和查询生成优化了知识图谱的使用。

这篇文章探讨了如何在工业环境中利用大型语言模型（LLMs）进行问题回答，特别是针对客服场景提供上下文相关的响应预测。然而，为了在行业环境中针对特定客户查询提供精确和相关的信息，LLMs需要访问全面的知识库以避免产生幻觉。面对这个问题，RAG技术应运而生。然而，使用RAG开发实际应用中的问答框架仍面临几个挑战：1）数据可用性问题，2）生成内容质量的评估，3）昂贵的人工评估成本。文章提出了一个端到端的RAG框架，用于解决工业环境中的问题回答问题。

RAG现在工作很多，进化的也很快，再来看看一个新的RAG工作-MemoRAG。文章提出，RAG在减少大模型对于垂类知识的问答幻觉上取得了不错的效果，也成为私域知识问答的一种范式。然而，传统RAG系统主要适用于明确信息需求的问答任务，但在处理涉及模糊信息需求或非结构化知识的复杂任务时表现不佳。因为，现实世界中的许多问题信息需求是模糊的，外部知识是非结构化的，例如理解书籍中主要角色之间的相互关系。因此，研究难点如何有效处理模糊的信息需求如何从非结构化知识中提取有用信息。

现有的RAG框架通常使用100词的短段落作为检索单元，这种设计使得检索器需要在大量语料库中搜索，增加了工作负担，并且容易引入难负样本，影响性能。LongRAG框架为了解决这一问题，该框架使用长检索单元（最多4K词），显著减少了语料库的大小（从22M减少到600K），从而减轻了检索器的负担，并提高了检索性能。LongRAG框架通过引入长检索器和长阅读器，减轻了检索器的负担，提高了检索质量和全文问答性能。该框架在不进行任何训练的情况下，达到了与最先进的全训练RAG模型相当的性能。

在进行文本嵌入时，尤其是RAG系统，有一个快速高效的文本嵌入工具是非常有必要的。因此，FastEmbed设计目标是提升计算效率，同时保持嵌入表示的质量。此外，FastEmbed还支持一些图像嵌入模型。高效的计算速度，适合大规模数据处理；使用ONNX Runtime实现最优性能。低资源消耗，适用于多种设备和环境。FastEmbed刻意减少了对外部资源的依赖，并选择了ONNX Runtime作为其运行时框架。灵活性强，可应用于不同的 NLP 任务。兼容GPU，支持GPU加速计算，进一步提升效率。

RAG的兴起，越来越多的人开始关注文档结构化解析的效果，这个赛道变得非常的同质化。关于文档智能解析过程中的每个技术环节的技术点，前期文章详细介绍了很多内容：下面我们简单的看看Docling这个PDF文档解析框架里面都有什么技术。文档智能解析现在非常同质化，实际上能解决自己场景文档解析的实用工具很少，不过可以参考下Docling工程上的具体优化，如多线程等。结合一些其他较强的开源或者自研的小模型，进行替换，打造自己的文档解析工具。

本文介绍了一个融合RAG（Retrieval-Augmented Generation）思路的KBQA（Knowledge-Based Question Answering）系统的核心算法及实现步骤。KBQA系统的目标是通过自然语言处理技术，从知识图谱中提取和生成精确的答案。mention识别、实体链接及排序、属性选择及排序、文本拼接以及最终的Text2SQL生成。通过这些步骤，系统能够准确识别用户提出的问题中的关键实体和属性，并生成相应的查询语句，从而从知识图谱或数据库中检索所需的信息。

在私有领域知识问答和企业知识管理领域，结合检索增强型生成模型（Retrieval-Augmented Generation, RAG）大模型（Large Language Model, LLM）已成为一种趋势。然而，在RAG系统的文档预处理阶段和检索阶段，经常碰到三个主要问题。企业内部常常积累了大量包含PDF格式的文档，这些文档的解析精度不足，严重制约了基于专业知识的问答系统的性能。因此，提高这些PDF文件的解析质量，对于构建高效的RAG系统至关重要。构建起一个完备的智能文档解析服务后，需要一个。

传统的 RAG 方法在处理针对整个文本语料库的全局性问题时存在不足，例如查询：“数据中的前 5 个主题是什么？对于此类问题，是因为这类问题本质上是查询聚焦的摘要（Query-Focused Summarization, QFS）任务，而不是传统的显式检索任务。Graph RAG 通过使用 LLM 构建基于图的文本索引，从源文档构建知识图谱。通过构建知识图谱，能够将复杂的、大规模文本数据集转化为易于理解和操作的知识结构，以便更好地理解实体（如人物、地点、机构等）之间的相互关系。使用 LLM。

在传统的密集检索中，常见的检索单元包括文档、段落或句子。然而，这些单元的选择可能会影响检索性能和下游任务的效果。例如，段落可能包含与问题无关的额外细节，而句子可能过于复杂或缺乏必要的上下文信息。为了解决这些问题，提出了使用“命题”作为新的检索单元。命题在文中被定义为文本中的原子表达，每个命题都包含一个独特的事实片段，并以简洁、自包含的自然语言格式呈现。例如，在讨论比萨斜塔的倾斜角度时，可以提取出以下命题：“比萨斜塔现在大约倾斜3.99度。”这个命题简洁地回答了问题，并且包含了必要的上下文信息。

清晰逻辑的缺失：与短答案的传统问答任务不同，LFQA任务中理想的答案往往需要多方面组织和整合信息，但现有的开源方法在生成答案时往往缺乏清晰的逻辑结构。提出了一种新的事实性优化框架，通过在评估和奖励建模中采用细粒度的设计，有效地提高了长形式问题回答中生成答案的事实性，同时减少了对人工标注的依赖。事实性不足：研究表明，现有系统生成的答案中只有大约一半的陈述能够完全得到检索到的参考资料的支持，这严重影响了这些系统的可信度。统计信息显示，使用提纲增强技术生成的答案比现有工作中的答案更长，其具有更强的逻辑结构。

在私域知识问答和企业知识工程领域，结合Retrieval-Augmented Generation（RAG）模型和大型语言模型（LLM）已成为主流方法。然而，企业中存在着大量的PDF文件，PDF解析的低准确性显著影响了基于专业知识的问答效果，因此，这些文件的有效解析对RAG模型的构建至关重要。上篇文章（【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路）主要讨论了开源的PDF解析技术，而本文将先探讨下RAG落地时常见的问题及文档解析在RAG的重要性智能文档解析关键技术。

RAPTOR模型通过其递归抽象处理方法，有效地解决了现有方法在长篇文档检索中的局限。通过构建树状索引结构，RAPTOR不仅提升了对长篇文档的理解，还增强了检索的准确性和效率，为处理知识密集型任务提供了新的可能。

输入长度减少：RAG的方法可以减少输入长度，但这可能导致所需信息的部分丢失，影响任务解决性能。扩展LLMs的上下文长度：通过微调的方式来扩展LLMs的上下文窗口，以便处理整个输入。当窗口变长时，LLMs难以集中注意力在解决任务所需的信息上，导致上下文利用效率低下。下面来看看两个有趣的另辟蹊径的方法，使用Agent协同来处理长上下文。