（17-6-02）检索增强生成（RAG）：多查询检索器+上下文压缩

最新推荐文章于 2024-09-11 10:44:34 发布
最新推荐文章于 2024-09-11 10:44:34 发布
阅读量977 收藏 31
点赞数 26
分类专栏： 大模型从入门到实战(数据集、训练、RAG、多模态) 文章标签： langchain 人工智能 深度学习 神经网络 python nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asd343442/article/details/138324063
版权

5.6.3  多查询检索器

在LangChain中，MultiQueryRetriever是一种高级检索器，旨在通过生成多个查询来提高检索的全面性和准确性。MultiQueryRetriever检索器的核心思想是，通过从不同的角度和用不同的措辞来探索同一个问题，可以克服单一查询可能带来的局限性，从而获得更丰富和多样化的检索结果。

多角度探索：通过生成多个查询，MultiQueryRetriever可以从不同的角度探索问题，这有助于捕捉问题的不同方面和细微差别。

在实际应用中，多查询检索器的优势如下所示。

  1. 提高覆盖率：由于考虑了多个查询，MultiQueryRetriever能够提高检索结果的覆盖率，减少遗漏重要信息的风险。
  2. 灵活性：用户可以自定义LLM生成查
了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农三叔
关注
专栏目录
订阅专栏
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 3294
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
【LangChain】检索器之MultiQueryRetriever
山鬼谣的专栏
07-24 2888
现在的搜索，其实是基于向量库的检索，本质上是距离的检索。而我们搜索的措辞的微妙变化，会产生不同的结果，这需要我们手动调整，这个工作枯燥乏味。，可以基于你给出的问题，生成多个相关问题。通过生成多角度问题，来自动调整这种微妙的措施变化。指定llm。
使用MultiQueryRetriever优化向量数据库检索：提高AI问答系统的准确性和全面性
qq_29929123的博客
08-11 459
自定义输出解析器# 自定义提示模板# 创建LLM链# 使用自定义链创建MultiQueryRetriever# 执行检索")len。
一叶知秋:单令牌模态融合革新RAG上下文压缩
qq_59084968的博客
06-19 581
xRAG通过重新解释在密集检索中使用的文档嵌入，将它们作为检索模态的特征，并运用模态融合方法将这些嵌入无缝集成到语言模型的表示空间中。在xRAG中，唯一可训练的组件是模态桥接器，而检索器和语言模型保持不变。实验结果表明，xRAG在六个知识密集型任务上平均提高了超过10%的性能，适用于从密集的7B模型到8x7B专家混合配置的各种语言模型。xRAG不仅显著优于以前的上下文压缩方法，而且在几个数据集上与未压缩模型的性能相匹配，同时将整体浮点运算次数减少了3.53倍。
langchain_MultiQueryRetriever
zc621_的博客
10-20 174
G:\python_vs\langchai_guanfang\MultiQueryRetriever_2.ipynb（自定义）G:\python_vs\langchai_guanfang\MultiQueryRetriever_1.ipynb(内置)可以使用内置的组件（默认产生三个相似的提问），可以自定义。明确看到产生的几个相似的提问。作用：根据你的提问产生几个相似的提问。
LLM之RAG实战（十二）| 在RAG管道中实现上下文压缩和过滤
wshzd的博客
01-05 1847
在RAG中可能面临的最大问题之一是检索器应该检索什么内容？​ 实际使用中，检索到的上下文并不完全有用，可能检索处理较大的块中只有非常小的一部分与答案相关，还可能对于一个特定的问题需要来自多个块合并来得到答案。
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
最新发布
nseejrukjhad的博客
09-11 747
MultiQueryRetriever 允许我们自定义用于生成查询的提示。这为进一步优化检索过程提供了灵活性。"""将LLM结果解析为查询列表"""return list(filter(None, lines)) # 移除空行template="""作为一个AI语言模型助手，你的任务是为给定的用户问题生成五个不同版本的查询，以便从向量数据库中检索相关文档。通过生成多个角度的用户问题，你的目标是帮助用户克服基于距离的相似性搜索的一些局限性。请提供这些替代问题，每个问题占一行。
（17-6-01）检索增强生成（RAG）：LangChain中的检索器+基于向量存储的检索器
码农三叔
04-29 1170
在LangChain中，基于向量存储的检索器（Vector store-backed retriever）是一种利用向量存储系统来检索相关文档的组件。这种检索器将文档转换为向量表示，并将这些向量存储在高效的向量数据库中，以便在接收到查询时能够快速地检索出与查询内容最相关的文档。它是一个轻量级的包装器，利用向量存储技术，通过向量存储实现的搜索方法（如相似性搜索和最大边际相关性搜索）来查询存储在其中的文本数据。在本实例中，检索器会根据文档内容和查询的相关性，返回一个或多个与查询最匹配的文档。
（17-6-04）检索增强生成（RAG）：长文本检索器+多向量检索器
码农三叔
04-30 1174
为每个文档创建一个摘要，然后为摘要文本生成一个向量。例如下面是一个使用MultiVectorRetriever生成文件摘要并为摘要文本生成向量的例子。
（17-3-02）检索增强生成（RAG）：HTML标题文本分割器+CharacterTextSplitter文本分割器
码农三叔
04-28 1510
上述代码的目的是使用 LangChain 中的文本分割器来处理一个网页（在这个例子中是斯坦福哲学百科中的哥德尔条目页面），将其内容分割成更小的、易于处理的块，并保留文档结构中的上下文信息。直接分割文本就是在不使用元数据的情况下，直接将文本传递给文本分割器进行分割，例如下面是一个使用CharacterTextSplitter直接分割文本的例子。（3）分割文本：调用 create_documents 方法，传入读取的文本内容 state_of_the_union，分割器会根据设置的参数将其分割成多个文本块。
【LangChain】检索器之上下文压缩
山鬼谣的专栏
07-25 3069
我们在进行文档搜索的时候，正相关的文档是少部分，大部分都是不相关的文档。我们可以使用上下文压缩检索器，只返回正相关的那部分文档。特别是第二步骤：构建上下文压缩器的第一个参数，有很多花样：① LLMChainExtractor 提取，精炼② LLMChainFilter 普通过滤③ EmbeddingsFilter 嵌入过滤④ DocumentCompressorPipeline 文档管道，可以将多个过滤器组合在一起。
AI大模型探索之路-应用篇5：Langchain框架Retrieval模块—高效的信息检索与增强
寻道码路，探索编程之路的无限可能。
04-09 1999
在人工智能的领域中，大模型的应用已经成为一种趋势。然而，大型语言模型(LLM)的应用程序往往需要特定于用户的数据，这些数据并不属于模型的训练集。为了实现这一目标，我们通常采用检索增强生成（Retrieval-augmented Generation，RAG）的方法。在此过程中，我们将从外部检索数据，然后在执行生成步骤时将其传递给 LLM。LangChain框架提供了一套完整的工具，以支持RAG应用程序的开发。
LangChain - Retrievers
AI + 工程
04-06 1378
一、入门 BaseRetriever 向量检索 一行代码创建索引 (One Line Index Creation) Walkthrough 二、上下文压缩 contextual_compression 入门 使用纯向量存储检索器 添加上下文压缩使用 `LLMChainExtractor` 更多内置压缩器：过滤器 `LLMChainFilter` `EmbeddingsFilter` 将压缩器和文档转换器串联起来 三、自查询 self_query 入门 (Pinecone 创建自查询检索器 测试 过滤 k
es混合检索与langchain检索增强
峰
11-04 1986
Elasticsearch全文检索，混合检索，向量检索，语义检索，kNN检索，rrf重排，langchain检索增强
Cohere reranker 一致的排序器
myboyliu2007的专栏
06-12 966
这本notebook展示了如何在检索器中使用 Cohere 的重排端点。这是在 ContextualCompressionRetriever 的想法基础上构建的。让我们首先初始化一个简单的向量存储检索器，并存储 2023 年国情咨文（分块）。我们可以设置检索器以检索大量（20）的文档。API 参考: ContextualCompressionRetriever | CohereRerank | Cohere。，使用 Cohere 重新排名端点来重新排列返回的结果。包装我们的基础检索器。
使用langchain与你自己的数据对话(三)：检索(Retrieval)
weixin_42608414的博客
07-27 6018
今天我们学习了很多有用的新技术比如最大边际相关性(MMR)，MMR可以让搜索结果保持相关性和多样性，这样可以避免出现冗余的搜索结果，除此之外我们可以定义元数据的过滤条件，这样向量数据库可以更加精准的搜索和问题相关的答案。
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块：从文档加载到向量检索RAG，理论+实战+细节
同学小张的博客
02-06 4402
本文学习 LangChain 中的 数据连接（Retrieval） 模块。该模块提供文档加载、切分，向量存储、检索等操作的封装。最后，结合RAG基本流程、LangChain Prompt模板和输入输出模块，我们将利用LangChain实现RAG的基本流程。
RAG：知识检索与生成的融合，解决LLM知识更新难题
生成阶段则依赖于强大的LLM，如GPT等，它们在接收到检索结果后，结合上下文信息生成连贯且有深度的回答。 Facebook AI Research、UCL和纽约大学的联合工作推动了RAG的发展，发布了诸如Atlas和YuLan-RETA-LLM这样的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农三叔

感谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值