大模型+检索增强（RAG、Atlas 和 REPLUG）

已于 2024-02-14 22:16:29 修改
阅读量418 收藏 1
点赞数
分类专栏： # LLM/RAG LLM 文章标签： 人工智能
于 2023-11-10 01:10:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134323643
版权
LLM 同时被 2 个专栏收录
115 篇文章 241 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
LLM/RAG
8 篇文章 21 订阅 ¥9.90 ¥99.00
订阅专栏 超级会员免费看
本文介绍了检索增强生成模型RAG、Atlas和REPLUG，它们结合了检索与生成技术，解决大模型的知识局限性。RAG由检索器和生成器两部分组成，通过检索外部知识来增强生成答案的准确性。Atlas在检索增强语言模型上进行Few-shot学习，通过检索器和语言模型的联合训练。REPLUG则是一个黑盒式检索增强模型，语言模型参数冻结，检索组件可微调。这些技术提高了模型的可解释性、可控性和可更新性。
摘要由CSDN通过智能技术生成

https://zhuanlan.zhihu.com/p/651380539

https://github.com/ninehills/blog/issues/97

1. 检索增强生成 RAG

在问答和对话的场景下，通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。把检索和生成结合起来，Facebook AI research 联合 UCL 和纽约大学于 2020 年提出：外部知识检索加持下的生成模型，Retrieval-Augmented Generation (RAG) 检索增强生成。

  • 检索：这是指系统搜索庞大的数据库或存储库以查找相关信息的过程。
  • 生成：检索后，系统生成类似人类的文本，整合获取的数据。

检索增强方法来克服大型

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 3219
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
【大模型动手篇】5分钟本地部署大模型 + 知识库RAG （待）
m0_46250943的博客
07-18 652
本地大模型：把各大厂（如Meta，阿里）开源的模型放到自己的电脑上去运行，不需要联网，不需要收费，隐私也不会泄露知识库：给大模型开卷考试，每次回答问题之前去知识库里查答案，根据查出来的事实回答你。
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 1万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
中科院计算所：什么情况下，大模型才需要检索增强？
夕小瑶科技说
02-22 1135
中科院计算所的研究团队对此进行了深入研究，定量评估了大型语言模型对知识边界的感知能力，并发现它们确实存在过度自信的问题。团队进一步探讨了模型对问题确定性与外部检索信息依赖之间的关系，并提出了几种创新方法来增强模型对知识边界的感知，从而减少过度自信。虽然依赖黄金文档并不等同于答案的准确性，因为模型可能参考了文档的其他部分，但答案与文档之间的重叠增加仍然是一个重要指标。：在提供答案之前要求模型解释其答案的原因，这样不仅可以获得辅助信息，还可能通过要求模型解释答案来减少没有合理解释的错误回答的风险。
RAG检索增强技术在知识库智能检索场景下的应用实践
人工智能讲师分享前沿技术
05-08 870
知识检索增强的基本概述1.1、知识检索增强技术提出的背景知识检索增强技术的提出是为了解决当前基于LLM的知识检索存在的种种问题，并满足实际应用对知识检索系统的新需求。1.2、RAG 检索增强生成同时，RAG模型也为我们提供了一种全新的思路，能够更好地结合信息检索和文本生成的能力，为各种应用场景提供更加智能、高效的解决方案。随着人工智能技术的不断发展，RAG模型有望在各个领域发挥越来越重要的作用，成为推动智能化应用发展的重要技术手段之一。1.3、外挂知识库 vs 知识参数化在大模型的优化方式中，外挂知识库和知
《AI大模型应用》--从0-1系统性快速学习大模型检索增强技术RAG.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
基于Java和AI大模型的Spring项目检索增强生成(RAG)设计源码
最新发布
11-02
本项目为基于Java和AI大模型的Spring项目检索增强生成(RAG)设计源码，包含45个文件，涵盖21个Java源代码文件、6个PNG图片文件、2个CSS样式文件、2个FTL模板文件、1个.gitignore配置文件、1个属性文件、1个LICENSE...
人工智能-项目实践-信息检索-从0-1系统性快速学习大模型检索增强技术RAG
02-29
2. 模型选择：根据需求选择合适的生成模型（如BERT、GPT等）和检索模型。 3. 模型融合：将检索和生成模型进行集成，实现RAG模型。 4. 训练与优化：使用预处理数据对RAG模型进行训练，并通过调整超参数来优化模型性能...
基于Python的大模型RAG检索增强生成技术最佳实践设计源码
10-02
该项目为基于Python实现的大模型检索增强生成技术最佳实践设计源码，包含23个文件，涵盖7个XML配置文件、5个Python源代码文件、3个Markdown文档、2个Git忽略文件、2个文本文件、2个图片文件、1个IntelliJ IDEA项目...
【RAG】六步学习检索增强（RAG）,打造你的私域助理
2301_81888214的博客
05-17 918
每个人似乎都在担心人工智能会如何夺走我们的工作。但令人惊讶的是，很少有人真正了解在实际环境中使用人工智能模型的基本方面。
Prompt提示工程上手指南:基础原理及实践(四)-检索增强生成(RAG)策略下的Prompt
master_hunter的博客
03-25 3677
想象一下，当你在写一篇文章或解决一个问题时，如果遇到了难题，你会怎么做？可能会去搜索引擎查找信息，然后基于找到的信息来构建你的答案。这个过程，其实很像是RAG框架在做的事情。化繁为简，我们先来了解RAG到底是什么。先从字母意思开始理解，RAG——Retrieval Augmented Generation，正如其名，是一种将检索（Retrieval）和生成（Generation）结合起来的技术。它首先从一个巨大的知识库中检索出与提出的问题最相关的信息，然后基于这些信息来生成回答。
【论文译文】深入探索RAG：检索增强生成的全方位评估综述
数智笔记
05-21 1252
检索增强生成（RAG）在自然语言处理领域已经成为一个关键的创新，通过整合外部信息检索提高生成模型的性能。然而，由于其混合结构和对动态知识源的依赖，评估RAG系统面临独特的挑战。因此，我们进行了广泛的调查，并提出了一个分析框架 RGAR（Retrieval，Generation，Additional Requirement），用于系统化分析RAG系统的基准，通过专注于可测量的输出和已知的真相对RAG基准进行系统分析。
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
阿里云云栖号
11-07 1148
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。
太强了！最全的大模型检索增强生成（RAG）技术概览！
机器学习社区
03-10 6413
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
用通俗易懂的方式讲解：一种全新的大模型检索增强生成方法
机器学习社区
01-28 1128
RAG 效率在很大程度上依赖于诸如文本分块方法、嵌入和检索技术等因素。当不加选择地检索固定数量的段落，或者获取与查询无关的内容时，可能会导致糟糕的响应，并降低 LLM 的多功能性。在2023年10月，一篇名为“Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection”的新研究论文引入了一种创新框架。这个框架通过教导LLM何时检索来增强其一致性和性能。
【NLP】GLM 大加强，清华团队推出 GLM 联网加强版 WebGLM！
fengdu78的博客
06-21 378
夕小瑶科技说 原创 作者 | 小戏、ZenMoore大模型生成答案不可靠？一种很直接的思路就是结合传统的搜索引擎的“知识”来对大模型进行一次检索增强。其实早在 InstructGPT 面世以前，OpenAI 就发布了可以用作搜索结果聚合的模型 WebGPT，WebGPT 基于 GPT-3 试图模仿人类的“搜索行为”以使用搜索引擎获得聚合的搜索答案，从而在比如开放域长问答上收获了非常不错的...
大模型进阶应用——检索增强生成
neweastsun的专栏
01-28 1291
RAG可以使用来自外部资源的内容来生成准确的摘要，从而节省大量时间。例如，经理和高级管理人员都是忙碌的人，他们没有时间筛选大量的报告。使用基于RAG的应用程序，他们可以从文本数据中快速获取最关键的发现，并更有效地做出决策，而不必阅读冗长的文档。RAG系统的有效性在很大程度上取决于输入该系统的数据的质量。如果应用程序访问的源内容很差，生成的响应将是不准确的。组织必须提供高质量内容并实践微调过程。对于实际商业应用程序中，在RAG系统中使用数据集之前，非常有必要让业务专家来检查和补充业务空白信息。
大模型系列：OpenAI使用技巧_使用图数据库应用检索增强生成RAG
数智笔记
12-31 1396
然而，提取的实体可能与我们拥有的数据不完全匹配，所以我们将使用GDS余弦相似性函数来返回与用户所询问的实体具有类似关系的产品。如果您的数据中数据点之间的关系很重要，并且您可能希望利用这一点，那么考虑使用图数据库而不是传统的关系数据库可能是值得的。考虑到增加的复杂性，请确保使用知识图谱是您用例的最佳选择。对于这个特定的用例，如果对话方面不太重要，我们实际上可以创建一个函数，该函数将调用我们之前定义的任务并提供一个答案。为此，我们将指示我们的模型在用户提示中找到相关的实体，这些实体可以用于查询我们的数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值