RAG经验论文《FACTS About Building Retrieval Augmented Generation-based Chatbots》笔记

最新推荐文章于 2025-04-30 15:02:09 发布
最新推荐文章于 2025-04-30 15:02:09 发布
阅读量810 收藏 18
点赞数 10
分类专栏： 深度学习 文章标签： RAG 论文阅读 LLM应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beingstrong/article/details/143823433
版权

《FACTS About Building Retrieval Augmented Generation-based Chatbots》是2024年7月英伟达的团队发表的基于RAG的聊天机器人构建的文章。

这篇论文在待读列表很长时间了，一直没有读，看题目以为FACTS是总结的一些事实经验，阅读过才发现FACTS是论文定义的RAG-based chatbots的五个维度：freshness (F), architectures(A), cost economics of LLMs ©, testing (T), security (S)的缩写。

论文说在英伟达内部用RAG和LLM构建三个chatbot，如论文表1所示。基于这些chatbot构建经验总结了一套方法论。

WeChatWorkScreenshot_1bf27dc6-5e87-4a96-addf-8593ed4dfa88

这两年RAG很火，但是构建好一个基于RAG的聊天机器人并不是件易事，要考虑RAG流程的工程化、微调LLM、prompt engineering、保证召回知识的相关性和准确性、文件访问控制、生成精确的回复并包括参考资料以及保护个人敏感信息等等。因此论文总结了如论文图1和图4所示的15个RAG流程中的控制点（吐槽一下论文中所有的图片都不够清晰）。

WeChatWorkScreenshot_f1c8dca0-c689-4e46-ba88-df89ab7a4676

WeChatWorkScreenshot_df3e2325-9290-4239-8857-59f0fd689f43

为了避免在公司内部重复地开发一些构建chatbot需要的功能如安全、护栏等，开发了如论文图7所示可插拔架构的模块化平台NVbot。平台支持domain-specific, enterprise-wide, copilot三种不同的chatbot变体。

WeChatWorkScreenshot_6eb677ed-10da-4b80-b69c-10c611d2203b

一些论文提到的细节：

  • 为了提高检索相关度：进行了Metadata增强、查询改写、使用grid-search方法来寻找合适chunk大小、测试不同的chunk rerank策略等；使用混合搜索(Lexical search+向量搜索)。
  • 对于一些复杂问题，比如“compare the revenue of NVIDIA from Q1 through Q4 of FY2024 and provide an analytical commentary on the key contributing factors that led to the changes in revenues during this time”，要使用agent或multi-agent架构才能回答出来，论文使用了如图2所示的将一个问题拆成多个问题的agent方式。

fa

  • 微调Llama3-70B后在保持可接受的延迟下可得到挺不错的答案质量

WeChatWorkScreenshot_8c4682ee-175d-47f8-9dfe-5e38b1ce9439

  • Unstructured.io等专门从PDF中提取结构化内容的工具有助于解析和分块非结构文化。如果文档的结构固定比如SEC相关的文档，使用section-level的分割，用section title和subheading来分割并将它们加入到chunk的上下文有助于提升检索相关性。
  • 使用RAGOps/LLMOps监控工具来监控RAG流程，使用如Ragas等评估框架。
  • 用内部LLM Gateway来统一管理使用的商用LLM API，可以简化LLM使用、订阅和数据跟踪的安全审计。
  • 包含安全测试、prompt修改测试、反馈回路等用来测试chatbot的手段。
  • chatbots的数据访问有Access Control Lists (ACLs)，用Nemo Guardrail对输入和输出进行处理。

总结：这篇论文介绍了基于RAG的chatbot的五个维度，论文按照这五个维度列举了一些经验，可以对照看看有哪些自己在开发过程中没有考虑过的点，不过总体来讲论文在详细实现上讨论的不够多。

论文阅读：Merging Facts, Crafting Fallacies: Evaluating the Contradictory Nature of Aggregated Factual Cl
CSPhD-winston的博客
03-02 518
问题背景大型语言模型（LLMs）能生成长文本（如人物传记），但这些文本可能混杂事实与非事实内容。例如，模型可能正确引用两个不同人物的正确信息，但组合在一起会让读者误以为是同一个人，导致整体内容不真实。现有方法的缺陷当前评估方法（如FActScore）会将长文本拆分为独立事实逐一验证，并假设“所有事实正确=整体正确”。但作者发现，实体歧义（如相同名字对应不同人物）会导致模型生成“看似全对、实则误导”的段落。模型生成：“张三生于1990年，2020年去世。
[论文笔记]构建基于RAG聊天机器人的要素
日积月累，天道酬勤
07-12 1239
⭐ 作者来自英伟达的团队，介绍了他们在构建企业级RAG聊天机器人的经验。提出了FACTS这5个要注意的方面以及15个可提升性能的控制点。是一篇偏实战的工作，值得仔细研读。
【论文笔记】Active Retrieval Augmented Generation
jinniulema的博客
03-10 2711
传统方法采用retrieve-and-generate 的范式进行检索增强，这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法，可以在生成过程中主动决定何时检索以及检索的内容。具体来说，它迭代式地对 待生成的句子进行预测，如果预测的句子中含有低置信度的token，就使用预测的结果作为query检索相关文档，然后重新生成句子。
LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-03 1694
​ LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读 目录 《Inference Scaling for Long-Context Retrieval Augmented Generation》翻译与解读 Abstract 1 Introduction 6、Discussion Conclusion
Retrieval-augmented Generation(RAG)
m0_72572822的博客
09-17 1437
RAG
LLMs之RAG：《Searching for Best Practices in Retrieval-Augmented Generation》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-05 1223
​ LLMs之RAG：《Searching for Best Practices in Retrieval-Augmented Generation》翻译与解读 目录 《Searching for Best Practices in Retrieval-Augmented Generation》翻译与解读 Abstract 1、Introduction Conclusion 《Searching for Best Practices in Retr
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-14 5336
​ LLM之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction 2 Definition 3 RAG Framework
论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理
shizidushu的博客
09-13 1607
# 论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理 # 关于 - 首次发表日期：2024-09-13 - 论文原文链接：http://xblx.whu.edu.cn/zh/article/doi/10.14188/j.1671-8836.2024.0040/ - 将文章中的参考文献整理一下，基本保持原文的目录结构
LLMs之RAG/RIG：《Knowing When to Ask -- Bridging Large Language Models and Data》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-08 1468
​ LLMs之RAG/RIG：《Knowing When to Ask -- Bridging Large Language Models and Data》翻译与解读 目录 《Knowing When to Ask -- Bridging Large Language Models and Data》翻译与解读 Abstract 1 Introduction Future Work 《Knowing When to Ask -- Bridging La
RAG再总结之如何使大模型更好使用外部数据：四个不同层级及查询-文档对齐策略
2401_84208172的博客
10-06 1301
本文主要介绍了RAG中查询的四个层次以及关于RAG中的查询-文档对齐的几种策略，这些都是很常用策略。在大模型时代，我们如何有效的去学习大模型？现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。掌握大模型技术你还能拥有更多可能性• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；
Retrieval Augmented Generation
01-08
Retrieval Augmented Generation (RAG) is a method that integrates retrieval-based and generation-based approaches, particularly useful for tasks requiring the reproduction of specific information....
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
01-13
The method of retrieval-augmented generation (RAG) for knowledge-intensive natural language processing tasks aims to combine the strengths of dense vector representations with sparse exact match ...
Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM
好好学习|学无止境
11-26 2010
LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。在这篇文章中，我们提出了统一LLMs和KG的路线图。
[论文阅读]Adversarial Semantic Collisions
m0_52911108的博客
04-29 1026
中，攻击者将冲突文本插入到输入文本中，使其被选为最相关的内容。第一种技术积极地生成冲突，而不考虑潜在的防御措施。然后开发了两种技术，
【论文阅读/复现】RT-DETR的网络结构/训练/推理/验证/导出模型
静谧、淡雅
04-29 1135
RT-DETR的网络结构/训练/推理/验证/导出模型
论文阅读 2024 arxiv Comprehensive Assessment of Jailbreak Attacks Against LLMs
CSPhD-winston的博客
04-30 828
这篇论文是关于大语言模型越狱攻击的全面评估，研究发现现有大语言模型都存在越狱风险，当前防御手段也无法完全抵御这些攻击。Figure 1：不同越狱攻击方法示例。Figure 2：测量过程概述。
论文笔记-基于多层感知器（MLP）的多变量桥式起重机自适应安全制动与距离预测
sagima_sdu的博客
04-29 648
IET Cyber-Systems and Robotics》出版山东大学团队的研究成果，文章题为“摘要桥式起重机的紧急制动及其制动距离预测是其安全运行中的关键难题。本文采用多层感知器（MLP）实现具有多种变量的桥式起重机自适应安全距离预测功能。首先，构建了桥式起重机的离散动力学模型，并在角度约束下引入模型预测控制（MPC）以保证安全制动；其次，分析并筛选了影响安全距离预测的输入变量，分别评估其对MLP预测精度的影响；然后，构建训练集和测试集，在训练集上对MLP模型进行了优化；
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks
最新发布
Glass_Gun的博客
04-30 1216
训练深度学习 （DL） 模型需要专有数据和计算密集型资源。为了收回训练成本，模型提供商可以通过机器学习即服务 （MLaaS） 将 DL 模型货币化。通常，该模型部署在云中，同时为付费查询提供可公开访问的应用程序编程接口 （API） 以获得好处。然而，模型窃取攻击对这种模型货币化计划构成了安全威胁，因为它们窃取了模型，而没有为未来的大量查询付费。具体来说，攻击者通过对目标模型进行查询，获取输入输出对，从而通过对替代模型进行逆向工程来推断模型的内部工作机制，从而剥夺了模型所有者的商业优势，泄露了模型的隐私。
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 1047
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
Retrieval-Augmented Generation，RAG
02-08
### Retrieval-Augmented Generation (RAG) 介绍 检索增强生成（Retrieval-Augmented Generation, RAG）是一种用于优化大型语言模型输出的技术，使这些模型可以在生成响应前引用其训练数据源之外的权威知识库[^2]。 #### 原理 RAG 的核心原理是在生成文本的过程中引入外部信息。具体来说，在接收到一个问题或提示时，系统首先评估是否有必要执行检索操作。如果有，则会从预先定义的知识库中查找多个相关的文档片段。随后，这些文档被用来辅助生成更精确、更有依据的回答。此过程不仅限于简单的拼接已有的文字；相反，它涉及复杂的自然语言理解和生成机制，确保最终产出既忠实于原始资料又流畅自然[^3]。 #### 实现方式 实现 RAG 主要分为几个阶段： - **预处理**：准备高质量的知识库供后续检索使用。 - **检索模块**：当接收输入后，决定是否启动检索流程，并挑选出若干候选文件片断。 - **多文档理解与摘要提取**：并发解析所选中的各个文档部分，提炼有用信息。 - **排序选择最佳回应**：综合考虑上下文连贯性和准确性等因素，选出最适合的答案返回给用户。 此外，还有一种变体称为KG-RAG，即结合了知识图谱技术的版本，进一步增强了系统的语义理解和关联发现能力。 #### 应用场景 得益于能动态访问最新资讯的特点，RAG 特别适合应用于那些需要持续更新专业知识域的应用场合，比如医疗咨询、法律服务等领域。同时，在教育辅导方面也展现出巨大潜力——可以即时获取教科书级解释说明，帮助学习者更好地掌握知识点[^4]。 ```python def rag_process(query): """ 模拟一个简化版的RAG工作流 参数: query (str): 用户提出的查询请求 返回: str: 经过RAG处理后的回答 """ # 判断是否需要检索 need_retrieve = decide_if_need_retrieval(query) if not need_retrieve: return generate_answer_directly(query) documents = retrieve_documents(query) processed_docs = parallel_process(documents) best_response = select_best_response(processed_docs, query) return best_response def decide_if_need_retrieval(query): """模拟决策逻辑""" pass def retrieve_documents(query): """模拟文档检索功能""" pass def parallel_process(documents): """并行处理多个文档""" pass def select_best_response(candidates, original_query): """基于一定标准筛选最优答案""" pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值