wend的博客

Advanced RAG 被誉为 RAG 的第二范式，它是在 Naive RAG 基础上发展起来的检索增强生成架构，旨在解决 Naive RAG 存在的一些问题，如召回率低、组装 prompt 时的冗余和重复以及灵活性不足等。它重点聚焦在检索增强，通过增加 Pre - Retrieval 预检索和 Post - Retrieval 后检索阶段，以及优化索引结构和原始查询来提高被索引内容的质量。在预检索处理优化方面，Advanced RAG 采用多种策略，如摘要索引、父子索引、假设性问题索引、元数据索引等。

本文基于 LangChain 0.3.21 版本源码，梳理中涵盖的各类文档加载器。读者可按需查找，快速确认所需加载的文档能否能借助 LangChain 进行便捷的处理。若上述表格中未涵盖您所需的文档加载器，您可借助 LangChain 的BlobLoader与，灵活创建自定义文档加载器。通过这种方式，无论是特殊格式文件、小众数据源，还是特定场景下的数据读取需求，均可得到满足。具体实现方法与详细示例，您可参考 LangChain 官方文档获取指导。

LangChain 提供了许多内置的文档转换器，使得拆分、组合、过滤和其他操作文档变得简单。当您想处理长文本时，有必要将文本拆分成块。尽管这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”意味着什么可能取决于文本的类型。将文本拆分成小的、语义上有意义的块（通常是句子）。开始将这些小块组合成一个更大的块，直到达到某个大小（通过某个函数来衡量）。

在自然语言处理领域，LangChain 框架凭借其强大功能和灵活性，成为众多开发者的首选。其中，作为官方文档分割器实现，为开发者提供了基本且可靠的文本分割能力。langchain框架-文档分割器详解（官方库）-CSDN博客然而，除了官方实现外，LangChain 社区中还涌现出了一些非官方的文档分割器。

本文主要是对langchain 框架的文档分割器模块的总结即用法的补充。

这种方式速度极快，能在短时间内完成数据的读写操作，不过由于受内存容量限制，数据持久性差，适合存储临时数据，比如在应用运行过程中产生的短暂性缓存数据。它结合了 Redis 的优势与云端服务的便利性，能在云端环境中提供高效的存储服务，适合对数据存储有高可用性和可扩展性需求的应用场景。：将数据存储在本地文件系统中，是一种本地存储方案，适合持久化小规模数据。作为缓存支持的嵌入器，将文本哈希处理后以哈希值为键，在键值存储中缓存嵌入结果，避免对相同文本重复进行嵌入计算，从而提高程序运行效率，降低计算资源消耗。

存储和搜索非结构化数据的最常见方法之一是将其嵌入并存储生成的嵌入向量， 然后在查询时嵌入非结构化查询并检索与嵌入查询 '最相似' 的嵌入向量。向量存储负责为您存储嵌入数据并执行向量搜索。大多数向量存储还可以存储有关嵌入向量的元数据，并支持在相似性搜索之前对该元数据进行过滤，让您对返回的文档有更多控制。本文基于langchain-community V0.3.21版本支持的向量存储方式进行总结，方面学习的小伙伴快速掌握langchain 的向量存储部分。

检索器是一个接口，给定非结构化查询返回文档。它比向量存储更为通用。检索器不需要能够存储文档，只需返回（或检索）它们。检索器可以从向量存储创建，但也足够广泛，包括维基百科搜索和亚马逊Kendra。文本将基于LangChain 的官网文档和源码，综合介绍和总结LangChain 的检索器内容，方便学习的小伙伴快速掌握LangChain检索器相关的内容。

本篇文章以实现简单的第一范式 RAG-Naive RAG为目标，并最终创建并实现一个基于RAG的论文分析器的项目。