【论文笔记】检索还是生成回复？RAG：我都要

最新推荐文章于 2024-10-26 21:26:10 发布
最新推荐文章于 2024-10-26 21:26:10 发布
阅读量2.4k 收藏 6
点赞数 4
文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43214867/article/details/122384404
版权
RAG是Facebook AI research等机构提出的结合检索和生成的问答模型，它利用检索器获取相关文档，再通过序列生成模型生成回复。RAG在开放域问答和问题生成任务上表现出色，提供了一种利用外部知识增强生成效果的方法。
摘要由CSDN通过智能技术生成

目录

引言

在问答和对话的场景下，通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。把检索和生成结合起来，Facebook AI research 联合 UCL 和纽约大学于 2020 年提出外部知识检索加持下的生成模型，Retrieval-Augmented Generation (RAG)。

论文名称：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
论文地址：http://arxiv.org/abs/2005.11401
论文代码：https://github.com/huggingface/transformers/tree/master/examples/research_projects/rag

模型结构

RAG 由两部分组成，第一部分负责根据 query x x x 检索出 top-k 个匹配的文档 z i z_i z

最低0.47元/天 解锁文章
iLuz
关注
『大模型笔记』检索增强生成(RAG)：从理论到LangChain实践
AI新视界
02-29 354
检索增强生成（RAG）是一个概念，它旨在为大语言模型（LLM）额外补充一些 外部知识。它的作用是能让模型生成更准确、更贴近上下文的答案，并减少幻觉。
高级RAG技术：提升生成式AI系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
最新发布
丨汀、的博客
10-26 674
高级RAG技术：提升生成式AI系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8949
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
一文讲清楚检索增强生成（RAG）
脚踏实地，仰望星空
10-19 4740
检索增强生成（Retrieval Augmented Generation, RAG）
【查漏补缺】10个关于RAG的冷知识，你知道几个？
bugyinyin的博客
10-24 905
RAG（Retrieval-Augmented Generation）技术是一种结合信息检索和生成模型的混合方法，旨在提高文本生成任务的质量和准确性。具体来说，RAG将检索（Retrieval）和生成（Generation）两个步骤融合在一起：
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 2793
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
【RAG检索增强生成】深入探索检索增强生成（RAG）技术
寻道码路，探索编程之路的无限可能。
06-27 2026
在人工智能的不断演进中，大语言模型（LLMs）已成为解决复杂问题的关键工具。但它们在处理需要最新信息或专业知识的任务时，受限于静态知识库，影响了内容的准确性和时效性。为了克服这一局限，检索增强生成（RAG）技术应运而生，它通过整合实时数据和外部知识库，显著提高了AI响应的质量和信息的更新速度。
检索增强生成架构详解【RAG】
新缸中之脑
11-25 1053
生成式AI技术很强大，但它们受到知识的限制。虽然像 ChatGPT 这样的LLM可以执行许多任务，但每个LLM的基线知识都存在基于其训练数据的差距。如果你要求LLM写一些关于最近趋势或事件的文章，LLM不会知道你在说什么，而且回答最好是混合的，坏的情况下往往还是有问题的。
15 种高级 RAG 技术 从预检索到生成
fudaihb的博客
10-02 1050
我们关于检索增强生成 (RAG) 的入门文章介绍了关键概念，并探讨了 RAG 系统的工作原理。在本白皮书中，我们探索了 15 种高级 RAG 技术，以提高生成式 AI 系统的输出质量和整体性能的鲁棒性。这些高级 RAG 技术极大地扩展了团队微调系统性能的选择。例如，在为一家大型金融服务公司构建安全的对话式 AI 助手时，我们实验了本白皮书中探讨的大多数高级 RAG 技术。这使我们能够测试并识别适当的优化方案，从预检索到生成，利用我们的自动化 RAG 评估管道（见下图）。
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 578
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望
人工智能讲师分享前沿技术
04-27 3293
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Microsoft的Phi-2以及许多开源选项，例如Llama2、OpenLLaMA、Falcon。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
一文读懂RAG（检索增强生成）
2401_85375298的博客
08-09 1509
近阶段，笔者落地了一个蛮深刻的项目，该项目通过RAG技术成功解决了一些问题。因此计划通过两篇文章跟大家分享有关RAG结合ToB Agent应用的探索与实践。本篇文章，主要关于笔者对RAG（围绕Navie RAG）的些许理解。
一篇新出的大模型检索增强生成（RAG）综述
Python_cocola的博客
06-07 892
自定义的目的：根据用户的特定偏好或请求的上下文调整内容，包括适应目标受众的需求或呈现格式。技术和方法SURGE：通过应用图-文本对比学习，确保生成的对话响应与检索到的子图中包含的知识紧密对齐。FiD-light：引入了一种基于列表的自回归重新排名方法，使用源指针优化排名顺序，并在模型输出中结合文本引用作为相关信息源的指针。研究分析：对RAG研究进行了详细分析，包括使用的技术、数据源、是否涉及多跳检索、以及检索和生成阶段的具体方法。多跳与单跳检索：指出了在迭代搜索轮次中，多跳检索通常能够产生更优越的结果。
检索增强生成（RAG）技术：实现流程、作用及应用案例
qq_42533357的博客
03-24 5027
在自然语言处理（NLP）领域中，检索增强生成（Retrieval-Augmented Generation, RAG）技术巧妙地结合了信息检索与神经网络生成模型的力量，通过在生成过程中引入相关的外部信息，实现了在大规模知识库基础上的精准、多样且具有上下文关联性的文本生成。RAG技术的目的在于，其关键创新在于打破传统生成模型仅仅依赖自身参数预测输出的限制，转而。这一革新极大地提升了模型在问答、对话系统、文本摘要等多种任务上的表现。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
2401_85375151的博客
07-29 2362
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
大模型检索增强生成RAG原理介绍
qq_35054222的博客
03-27 2022
相信通过上面的介绍，大家对为什么要用RAG、RAG的技术路线有了大概了解。下一篇文章，我们将开始环境部署，准备开发自己的大模型RAG应用。
Elasticsearch：什么是检索增强生成 - RAG？
Elastic 中国社区官方博客
10-10 6644
RAG 一直在自然语言处理 (NLP) 领域掀起波澜。RAG 的核心是一个混合框架，它集成了检索模型和生成模型，生成的文本不仅上下文准确，而且信息丰富。RAG 在 NLP 中的重要性怎么强调都不为过。传统的语言模型，尤其是早期的语言模型，可以根据训练的数据生成文本，但通常缺乏在生成过程中获取额外的特定信息的能力。RAG 有效地填补了这一空白，在检索模型的广泛功能和生成模型（例如 LLMs）的文本生成过程之间架起了一座桥梁。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值