LLM之RAG实战（十八）| 使用Query转换来改进RAG效果

最新推荐文章于 2025-01-02 20:14:11 发布
最新推荐文章于 2025-01-02 20:14:11 发布
阅读量1.5k 收藏 25
点赞数 22
分类专栏： RAG 笔记 文章标签： 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wshzd/article/details/135728381
版权

​       在本文中，我们将分析查询转换，以及如何使用路由器根据输入提示选择适当的转换。

       查询转换背后的想法是，检索器有可能从数据库中检索到与用户初始提示不相关的块。在这些情况下，我们可以在检索并将其提供给语言模型之前，修改查询以增加其与源的相关性。

       我们将从一个简单的RAG应用程序开始，首先加载关于尼古拉斯·凯奇、《最好的时代》（尼古拉斯·凯吉首次登台表演的电视试播）和莱昂纳多·迪卡普里奥的三个维基百科页面数据。

       然后，我们将把文档分割成256个字符的块，没有重叠。这些块将嵌入并索引在Vector Store中，默认情况下，Vector Store将所有内容存储在内存中。

WikipediaReader = download_loader("WikipediaReader")​loader = WikipediaReader()pages = ['Nicolas_Cage', 'The_Best_of_Times_(1981_film)', 'Leonardo DiCaprio']documents = loader.load_data(pages=pages, auto_suggest=False, redirect = False)​llm = OpenAI(temperature=0, model="gpt-3.5-turbo")gpt3 = OpenAI(temperature=0, model="text-davinci-003")​embed_model = OpenAIEmbedding(model= OpenAIEmbeddingModelType.TEXT_EMBED_ADA_002)service_context_gpt3 = ServiceContext.from_defaults(llm=gpt3, chunk_size = 256, chunk_overlap=0, embed_model=embed_model)​index = VectorStoreIndex.from_documents(documents, service_context=service_context_gpt3)retriever = index.as_retriever(similarity_top_k=3)

       现在，我们必须确保模型只根据上下文进行回答，而不依赖于其训练数据，即使它以前可能已经学会了答案。

# The response from original promptfrom llama_index.prompts import PromptTemplate​template = ("We have provided context information below. \n"    "---------------------\n"    "{context_str}"    "\n---------------------\n"    "Given this information, please answer the question: {query_str}\n"    "Don't give an answer unless it is supported by the context above.\n")​qa_template = PromptTemplate(template)

       我们将使用两个更复杂的查询来测试刚刚创建的RAG应用程序。让我们来看看第一个。

问题1——“Who directed the pilot that marked the acting debut of Nicolas Cage?”

       该查询的问题需要参考多条信息：尼古拉斯·凯奇的表演处女作和这部电影的导演。提示中只提到了尼古拉斯·凯奇，而导演的名字却没有被涉及。由于该模型不知道凯奇首次亮相的电视试播节目《最好的时代》的名字，因此无法从我们索引的文件中检索到相关细节。

question = "Who directed the pilot that marked the acting debut of Nicolas Cage?"
最低0.47元/天 解锁文章
LLM之RAG实战（三十五）| 使用LangChain的3种query扩展来优化RAG
wshzd的博客
03-28 1967
RAG有时无法从矢量数据库中检索到正确的文档。比如我们问如下问题：从1980年到1990年，国际象棋的规则是什么？RAG在矢量数据库中进行相似性搜索，来查询与国际象棋规则问题相关的相关文档。然而，在某些情况下，我们的向量数据库没有存储完整的信息，例如，我们的矢量数据库没有存储不同年份的规则。这样，数据库可以返回与国际象棋规则相关但与特定问题不直接相关的文档。针对上述情况，我们可以采用查询扩展技术，该技术可以对用户的原始查询生成更全面、信息更丰富的搜索。这个新生成的查询将从矢量数据库中获取更多相关文档。
RAG之query改写优化
qq_30921029的博客
04-08 2977
RAG系统涉及到对用户query做检索召回，好的query更有利于召回正确的结果。所以query analysis要做的就是对输入query做一个改写，让其语义更完善或格式更清晰。基于query改写好的文档如下，然后我们可以分别基于query和文档做检索。
腾讯: Query改写不是你RAG使用LLM查询优化的唯一方案
2301_82275412的博客
01-02 741
查询抽象旨在提供对事实需求的更广泛视角，可能导致更多样化和全面的结果。这涉及到识别和提炼查询的基本意图和核心概念元素，然后创建一个高层次的表示，捕捉本质含义的同时去除具体细节。如：用精心设计提示引导 LLM 推理，使输出契合原始查询意图；要求 LLMs 对抽象查询进行概念推理，在可验证符号空间生成解决方案；将通用 CoT 推理抽象为含抽象变量推理链，借助领域工具解决查询；用抽象框架构建推理过程，集成不同层次抽象；生成高层抽象信息作查询上下文背景；定义查询方面辅助复杂查询推理；
LLM之RAG实战（二十八）| 探索RAG query重写
wshzd的博客
03-08 3419
2.将生成的假设文档输入编码器，将其映射到密集向量f(dk)，编码器具有过滤功能，过滤掉假设文档中的噪声。在密集检索中，新查询表示为q+，是原始查询（q）和伪文档（d'）的简单级联，由[SEP]分隔：q+=concat（q，[SEP]，d'）。我们可以看到，通过将原始查询“后退”到更抽象的问题，并使用抽象查询和原始查询进行检索，LLM提高了其遵循正确推理路径找到解决方案的能力。此外，还有一些方法，如查询路由、将查询分解为多个子问题等，它们不属于查询重写，但它们是预检索方法，这些方法将来将有机会引入。
RAG系统进阶：query rewrite高手必备的三大技巧，附代码实现
Python_cocola的博客
07-30 707
一个好的RAG系统需要一个好的检索模块，而一个好的检索模块需要一个好的query理解模块。这个博客，主要介绍3个常见的query改写方式。
使用LlamaIndex定义自定义路由查询引擎
ppoojjj的博客
07-10 477
我们可以选择使用不同类型的选择器来路由查询。这里展示了使用OpenAI函数API的pydantic选择器。
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
wshzd的博客
01-16 2308
它是为处理高维矢量数据而定制的，就像Llama-2等语言模型生成的数据一样。在这个片段中，我们从llama-2包中导入LlamaModel，并使用特定的模型变体（例如“llama2-large”）对其进行初始化，该模型将用于文本生成和矢量化。Hugging Face的transformer库是使用Llama-2等模型的基石，它为自然语言处理任务提供了对预先训练的模型和实用程序的轻松访问。RAG Pipeline的核心是一个函数，它接受用户查询，从数据库中检索相关上下文，并基于查询和检索到的上下文生成响应。
LLM之RAG实战（四十一）| 使用LLamaIndex和Gemini构建高级搜索引擎
wshzd的博客
07-08 1751
要使用 LlamaIndex 构建用于混合搜索的自定义检索器，我们首先需要定义架构，尤其是配置合适的节点。在我们的例子中，使用 LlamaIndex 来构建自定义检索器，使用 Gemini 来构建嵌入模型和LLM推理，并使用 PyPDF 来构建数据连接器，因此，需要安装所需的库。一旦数据被解析为节点，LlamaIndex 就会提供一个存储上下文，它提供默认的文档存储，用于存储数据的向量嵌入。为了测试其有效性，我们使用一个包括上下文的提示和一个不包括上下文的提示来评估生成的响应。
LLM之RAG理论（十二）| RAG和Graph RAG对比
wshzd的博客
07-23 1426
与传统 RAG 相比，Graph RAG 的主要优势在于它能够检索有关查询中提到的实体的全面详细信息。当我们仔细观察架构时，我们可以看到，首先将文档拆分为可管理的块，并将这些块转换为实体和关系，这些实体和关系构成了知识图谱的基础。在基于LLM问答的系统中实施 RAG 的主要好处是它确保模型可以访问最新、最可靠的事实，并且用户可以访问模型的来源，确保其声明可以被检查为准确性并最终被信任。检索增强生成（RAG）是一个框架，通过支持外部知识源的模型来补充LLM信息的内部表示，从而提高LLM生成响应的质量。
LlamaIndex ：面向QA 系统的全新文档摘要索引
zenRRan的博客
05-11 3778
来自：ChallengeHub在这篇博文中，我们介绍了一种全新的 LlamaIndex 数据结构：文档摘要索引。我们描述了与传统语义搜索相比，它如何帮助提供更好的检索性能，并通过一个示例进行了介绍。https://github.com/jerryjliu/llama_index后台回复：入群，加入NLP交流大群~1背景大型语言模型 (LLM) 的核心场景之一是对用户自己的数据进行问答。为此，我们将...
llamaindex实战-QueryEngine-查询引擎使用概述
zg_hover的专栏
11-30 1026
查询引擎是一个通用接口，允许您对数据提出问题。查询引擎接受自然语言查询，并返回丰富的响应。它通常（但并非总是）通过检索器构建在一个或多个索引上。您可以组合多个查询引擎来实现更高级的功能。注意：如果您想与数据进行对话（多次来回而不是单次问答），请查看ChatEngine相关内容。
如何使用查询路由构建更先进的 RAG
CSDNDN的博客
08-24 982
目前大部分RAG的实践方案都是通过检索模型从外部数据库中获取与输入相关的文档或信息；然后，将这些信息与输入结合，输入到生成模型中进行文本生成。这种方案往往会有一个问题就是所有的数据都存储在一起，但这往往是没法在生产实践的，一般情况下单个prompt无法处理所有情况，单个数据源也可能无法适合所有数据。比如这个问题：假设现在需要构建一个聊天机器人来回答员工有关管理的问题，例如工资或绩效相关的问题。如果查询涉及员工福利、绩效评估、休假政策或任何与人力资源直接相关的主题，我们需要将查询路由到 HR 向量数据库。
推荐开源项目：Query-Engine —— 动态查询利器
gitblog_00058的博客
06-04 378
推荐开源项目：Query-Engine —— 动态查询利器 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Query-Engine 是一个强大的查询、过滤和搜索工具，专为 Backbone.js Collections 以及 JavaScript 数组和对象设计。它提供了类似 NoSQL 查询的能力，让数据操作变得更加灵活和智能。无论是服务器端的 Node.js 环境...
LlamaIndex：轻松构建索引查询本地文档的神器
FrenzyTechAI的博客
06-22 8146
LlamaIndex（以前称为 GPT Index）是一个开源项目，它在 LLM 和外部数据源（如 API、PDF、SQL 等）之间提供一个简单的接口进行交互。它提了供结构化和非结构化数据的索引，有助于抽象出数据源之间的差异。它可以存储提示工程所需的上下文，处理当上下文窗口过大时的限制，并有助于在查询期间在成本和性能之间进行权衡。向量存储索引：最常用，允许您回答对大型数据集的查询。树索引：对于总结文档集合很有用。列表索引：对于合成一个结合了多个数据源信息的答案很有用。关键字表索引。
高级 RAG 技术图解概览
GitCode
01-19 1592
这样的搜索分为两步：首先利用摘要来筛选出相关文档，然后只在这个筛选出的相关文档集中继续深入搜索。
高级 RAG 检索策略之查询路由
m0_59235699的博客
08-12 1308
今天我们介绍了 RAG 检索策略中的查询路由，并介绍了 LLM Router 和 Embedding Router 两种查询路由的实现原理，最后通过一个实战项目了解了查询路由在实际项目中的使用。但目前的查询路由还有很多不确定性，因此我们无法保证查询路由总能做出完全准确的决策，需要经过精心测试才能得到更加可靠的 RAG 应用程序。
使用LlamaIndex搭建多步骤查询引擎指南
ppoojjj的博客
07-10 447
本文介绍了如何使用LlamaIndex搭建一个多步骤查询引擎，以便将复杂的查询分解成多个子问题。本文详细说明了整个过程，并提供了操作DEMO代码。注意，在代码示例中我们使用了LlamaIndex和OpenAI的大模型进行查询转化。
ChatGPT可以作为一个翻译器吗？
热门推荐
wshzd的博客
03-02 2万+
ChatGPT在机器翻译上表现如何？
LLM（十二）| DeepSeek-V3 技术报告深度解读——开源模型的巅峰之作
wshzd的博客
12-31 2万+
DeepSeek-AI 团队最新发布的 DeepSeek-V3，作为一款强大的混合专家模型（Mixture-of-Experts, MoE），凭借其高效的架构和创新的训练策略，成为了当前最强的开源模型之一。通过创新的架构设计、高效的训练策略和经济的成本控制，DeepSeek-V3 不仅成为了当前最强的开源模型之一，也为未来的 AI 研究提供了宝贵的参考。DeepSeek-V3 的推理部署采用了 预填充（Prefilling） 和 解码（Decoding） 分离的策略，确保了在线服务的高吞吐量和低延迟。
LLM+RAG
最新发布
03-20
### LLM与RAG结合的技术实现 #### 技术架构概述 LLM与RAG的结合可以通过一种混合式的架构来完成，其中检索模块负责从外部知识源获取相关信息，而生成模块则利用这些信息生成高质量的回答。这种方法不仅提高了模型的知识覆盖范围，还显著降低了错误率和“幻觉”现象的发生概率[^4]。 #### 数据流过程 在具体的实施过程中，当接收到一个问题时，系统会先通过检索器访问外部数据库或文档集合，提取出与问题最相关的若干片段作为上下文输入。随后，这些片段连同原始问题一起传递至预训练好的大型语言模型中进行处理并最终输出答案[^1]。 #### 实现优势 此方法的优势在于其能够动态地调用最新、最准确的数据资源支持实时查询需求，而不依赖于固定时间点之前已有的静态参数化记忆内容。因此，在面对快速变化领域内的新情况或者需要高度精确表述的任务场景下尤为适用[^3]。 ```python def rag_based_llm(query, database): # Step 1: Retrieve relevant documents from the external knowledge base. retrieved_docs = retrieve_relevant_documents(query, database) # Step 2: Pass both query and retrieved information into an LLM for generation. response = large_language_model.generate(query=query, context=retrieved_docs) return response # Example function definitions (not actual implementations). def retrieve_relevant_documents(query, db): ... large_language_model = LargeLanguageModel()... ``` 上述伪代码展示了基本的工作流程：对于每一个用户提问 `query` ，我们都会去对应的资料库 `database` 中寻找关联条目；之后把找到的结果送入到我们的大语言模型里头加工成最后答复形式。 #### 应用实例分析 实际操作层面来看，这样的组合已经被广泛采纳用于创建智能客服对话代理程序还有其他涉及自然语言理解的应用场合之中。比如某些公司正在开发的产品线里面就包含了此类技术的支持方案设计思路讨论等内容[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值