Retrieval-Augmented Generation for Large Language Models: A Survey

最新推荐文章于 2024-09-15 15:29:29 发布
最新推荐文章于 2024-09-15 15:29:29 发布
阅读量399 收藏 8
点赞数 7
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/135698894
版权
Survey Paper 同时被 2 个专栏收录
192 篇文章 7 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
515 篇文章 3 订阅

已下架不支持订阅

本文深入探讨了检索增强生成（RAG）如何通过整合外部数据库的知识，提升大型语言模型（LLM）的准确性和可信度，特别是在知识密集型任务中的表现。RAG将LLM的内在知识与外部知识库相结合，涵盖了从Naive到Advanced再到Modular的发展范式，并讨论了其在检索、生成和增强技术方面的最新进展。
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Retrieval-Augmented Generation for Large Language Models: A Survey》的翻译。

大型语言模型的检索增强生成研究综述

摘要

大型语言模型（LLM）展示了强大的能力，但面临着幻觉、过时的知识以及不透明、无法追踪的推理过程等挑战。通过整合来自外部数据库的知识，检索增强生成（RAG）已成为一种很有前途的解决方案。这增强了模型的准确性和可信度，特别是对于知识密集型任务，并允许持续更新知识和集成特定领域的信息。RAG将LLM的内在知识与外部数据库的庞大动态存储库协同融合。这篇全面的综述论文对RAG范式的进展进行了详细的研究，包括Naive RAG、Advanced RAG和Modular RAG。它仔细审查了RAG框架的三方基础，包括检索、生成和增强技术。本文重点介绍了嵌入这些关键组件中的最先进技术，从而深入了解了RAG系统的进步。此外，本文还介绍了评估RAG模型的指标和基准，以及最新的评估框架。最后，本文概述了未来的研究途径，包括识别挑战、扩展多种模式以及RAG基础设施及其生态系统的进展。

1 引言

2 定义

3 RAG框架

4 检索

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
《Retrieval-Augmented Generation for Large Language Models: A Survey》 AI 解读
明明如月的技术博客
04-01 1416
论文标题：《Retrieval-Augmented Generation for Large Language Models: A Survey》
Retrieval-Augmented Generation for Large Language Models: A Survey RAG 快速解读-图解
weixin_44287798的博客
05-31 991
RAG综述解读 Retrieval-Augmented Generation for Large Language Models: A Survey
Retrieval-Augmented Generation for Large Language Models: A Survey阅读笔记
mashutian的博客
03-25 1368
Re-Ranking，对检索到的结果进行重排序，LlamaIndex，Langchain或者HayStack都已经有这种技术了，还有那种看diversity的ranker，或者把最相关的放在context开头和结尾，或者把语义相似度算的更好一点。Predict，旨在解决检索结果中的噪音信息和冗余信息，可由LLM来处理。复旦和同济大学的朋友们围绕RAG整了一篇survey，这篇综述主要分析了RAG的范式及其演变，RAG的主要技术（检索、生成和增强），测评RAG模型的指标和benchmark，测评框架。
【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey
STAR GAME
03-29 1491
LLM检索增强的新范式
RAG综述 《Retrieval-Augmented Generation for Large Language Models: A Survey》笔记
beingstrong的博客
03-10 3159
RAG(Retrieval-Augmented Generation)综述 [Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/abs/2312.10997) 粗略笔记
Retrieval-Augmented Generation for Large Language Models A Survey
weixin_52185313的博客
06-23 1302
大型语言模型（LLMs）展示了令人印象深刻的能力，但也面临着如幻觉【2】、知识陈旧以及推理过程不透明和不可追踪等挑战。检索增强生成（RAG）通过从外部数据库中引入知识，成为一种有前途的解决方案。这样可以提高生成的准确性和可信度，特别是对知识密集型任务而言，并允许持续的知识更新和特定领域信息的集成。RAG协同融合了LLMs的内在知识和外部数据库的庞大、动态存储库。这篇全面的综述论文详细审查了RAG范式的发展，包括原始RAG、先进RAG和模块化RAG。它细致地审视了RAG框架的三部分基础：检索、生成和增强技术。
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-14 4267
​ LLM之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction 2 Definition 3 RAG Framework
Retrieval-Augmented Generation for Large Language Models: A Survey论文阅读
qq_35166730的博客
06-11 702
大语言模型常常制造虚假事实，在处理特定领域或高度专业化的查询时缺乏知识。例如，当所需信息超出模型训练数据的范围或需要最新数据时，LLM可能无法提供准确的答案。这一限制在将生成型人工智能部署到现实世界的生产环境中构成挑战，可能不够盲目使用黑盒LLM。神经网络通过微调模型以参数化知识来适应特定领域或专有信息。虽然这种技术取得了显著成果，但它需要大量的计算资源，成本高昂，并需要专业的技术专长，使其适应性较差。参数化知识和非参数化知识发挥着不同的作用。
论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术：综述(上）
m0_49651195的博客
06-23 974
最大的挑战是，如何将检索到的文档有效的融入当前的生成任务中。当前的研究主要集中在智能结合不同的搜索技术，优化检索步骤，引入认知回溯概念，灵活运用多样化的查询策略，并利用嵌入式相似度。因此，在检索文档后加入一个额外的验证模块，该模块用来评估文档与查询之间的相关性，这样可以提升RAG的鲁棒性。额外生成模块： 面对检索内容中的冗余和噪声问题，这个模块通过大语言模型生成必要的上下文，而非直接从数据源进行检索。RAG 的组织方法具有高度灵活性，能够根据特定问题的上下文，对 RAG 流程中的模块进行替换或重新配置。
A Survey on Retrieval-Augmented Text Generation for Large Language Models
c_cpp_csharp的专栏
08-17 107
检索增强生成（RAG）将检索方法与深度学习技术相结合，通过动态集成最新的外部信息来解决大型语言模型（LLM）的静态局限性。这种方法主要侧重于文本领域，为LLM生成看似合理但不正确的响应提供了一种经济高效的解决方案，从而通过使用真实世界的数据来提高其输出的准确性和可靠性。随着RAG复杂性的增加，并引入了可能影响其性能的多个概念，本文将RAG范式分为四类：预检索、检索、后检索和生成，从检索的角度提供了详细的视角。它概述了RAG的演变，并通过分析重要研究讨论了该领域的进展。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8240
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1723
面向LLM的RAG技术：综述
LLM 大模型实用指南 | The Practical Guides for Large Language Models
热门推荐
程序员光剑
05-31 1万+
LLM 大模型实用指南 | The Practical Guides for Large Language Models。
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 1059
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 1070
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1166
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1504
opencv学习：calcHist 函数绘制图像直方图及代码实现
retrieval-augmented generation
12-09
retrieval-augmented generation（RAG）是一种结合信息检索和生成模型的方法，旨在解决生成式模型的信息获取不足和信息检索模型生成能力限制的问题。该方法通过将大规模预训练的检索模型和生成模型相结合，以实现更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值