RAG检索增强生成(1)-大语言模型的外挂数据库

已于 2024-06-04 16:29:27 修改
阅读量456 收藏
点赞数 2
分类专栏： 大模型 文章标签： 深度学习 人工智能 nlp
于 2024-06-01 16:27:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40566713/article/details/139375566
版权

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks[J]. Advances in Neural Information Processing Systems, 2020, 33: 9459-9474.

RAG结合了信息检索和文本生成两种方法，旨在突破传统问答系统的局限。通过将外部数据检索的相关信息输入大语言模型，大语言模型能够基于这些信息生成回答，进而增强答案生成的能力。RAG能够处理更广泛、更复杂的问题。使用RAG后可以有效解决大语言模型细分领域的幻觉和知识过期问题。

1、RAG的和核心组件

（1）信息检索
（2）文本生成

2、RAG工作流程

（1）最基础的RAG
在这里插入图片描述

（2）增加预处理查询的RAG
在这里插入图片描述

（3）带有聊天历史的RAG
在这里插入图片描述

（4）增加自动排序的RAG
在这里插入图片描述

3、RAG在Chatbot中的应用

（1）提高回应的相关性和准确性
（2）处理复杂查询
（3）增强个性化和上下文理解能力

4、RAG面临的挑战

（1）检索与生成的协同工作：检索到的内容与生成的内容能否紧密结合是一个关键问题。
（2）计算效率：执行检索和生成着两个步骤可能导致系统响应延迟，使整个系统的运行速度变慢，因此对时间敏感的应用而言，RAG可能不太适用。
（3）数据噪声：外部检索的数据可能带有噪声，这会影响生成内容的准确性。

5、RAG与Fine-tuning

RAG和Fine-tuning都是强大的工具，可以增强大语言模型应用的性能，但它们针对的是优化过程的不同方面。两者是截然不同的两种技术，不是替代关系，而是关联关系，在不同场景下应该选择不同的方案。

对比项RAGFine-tuning
需要获取外部数据吗yesno
需要改变模型行为模式吗noyes
幻觉有最小化吗yesno
训练数据充足吗noyes
数据动态性高吗yesno
数据可解释度如何yesno

参考

Sophie'sCookingLab
关注
专栏目录
RAG-给大模型开个大大的外挂
huang9604的博客
06-05 1066
RAG 是一种结合信息检索和文本生成的范式，用于提升大语言模型的性能，还能通过预处理查询、理解意图、处理对话历史和结果排序来优化交互。要使用RAG，需理解其技术原理，包括信息检索、增强和生成步骤，并考虑如何适应各种应用场景。
RGA3728教学管理数据库.mdb
05-19
系统应用背景 本系统对于适用于高校的教学管理，可以为教师及教学管理人员提供不同性质的信息服务，包括系统的设计、开发、实现、调试等。为了能够行之有效的对学校的教师、学生、课程等信息进行管理，并且使学生熟练掌握项目开发的过程，经过对工程学院教学管理的调研，决定设计开发此教学管理系统，便于教学上的应用。
轻松掌握：Milvus向量数据库部署与RAG使用技巧
成长是我们永恒不变的主旋律
06-11 1669
轻松掌握：Milvus向量数据库部署与RAG使用技巧
什么是 RAG，大模型微调，向量数据库的应用场景
howard_shooter的博客
05-13 480
这一招被实践证明还挺好用，解决了不少问题，这就是所谓的提示词工程（prompt engineering），这个过程有个需求，就是要根据问题文本，查找出和这个问题相关的背景知识文本，很自然的想到，这个查询可以去搜索引擎上查，但是有的公司的数据是私有的，搜索引擎是差不到的，那么其实就要求公司内部建立这么个搜索引擎，这是一个思路，实际上使用和搜索引擎差不多的一个东西，就是向量数据库，把背景知识（小明的妈妈。” 是我们想问大模型的问题，“小明的妈妈有三个孩子，老大叫小军，老二叫小米，老三叫小明。
大模型的RAG(检索增强生成) ----大模型外挂
cumtchw
04-19 1816
检索增强生成（RAG）是一个概念，也可以称为一种范式，它旨在为大语言模型（Large Language Model，LLM）提供额外的、来自外部知识源的信息。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 1948
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
一文彻底搞懂大模型 - RAG（检索、增强、生成）
2301_78285120的博客
09-01 1279
如何理解RAG？通过上一个问题，我们知道了什么是RAG？了解到RAG是一种结合了信息检索、文本增强和文本生成的自然语言处理（NLP）的技术。RAG的目的是通过从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容。那我们如何理解RAG的检索、增强和生成呢？检索：检索是RAG流程的第一步，从预先建立的知识库中检索与问题相关的信息。这一步的目的是为后续的生成过程提供有用的上下文信息和知识支撑。
RAG-LLM大模型外挂学习
2401_82469710的博客
07-03 982
RAG 是一种结合信息检索和文本生成的范式，用于提升大语言模型的性能，还能通过预处理查询、理解意图、处理对话历史和结果排序来优化交互。要使用RAG，需理解其技术原理，包括信息检索、增强和生成步骤，并考虑如何适应各种应用场景。
RAG增强检索-提升大LLM模型应用的准确率
ejinxian的专栏
07-13 541
Reranker （重排器）是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用重排器，能够更有效地确定文档和查询之间的语义相关性，更精细地对结果重排，最终提高搜索质量。检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的 “最新知识” 来增强其能力。提示词工程（Prompt engineering）：用于将用户的问题和检索到的上下文组合成大模型的输入。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
RAG是基于Transformer架构的一种模型，它通过引入检索组件来增强传统的生成模型。在对话系统中，检索组件能够从大规模知识库中检索相关信息，而生成组件则负责根据上下文生成连贯、合理的回复。这种结合使得RAG能够...
《AI大模型应用》--RAG 检索增强生成！一个使用 OpenAI API 和 Milvus 向量数据库的问答系统.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
AI大模型低成本快速定制秘诀：RAG和向量数据库
热门推荐
herosunly的博客
11-14 3万+
当今人工智能领域，最受关注的毋庸置疑是大模型。然而，高昂的训练成本、漫长的训练时间等都成为了制约大多数企业入局大模型的关键瓶颈。这种背景下，向量数据库凭借其独特的优势，成为解决低成本快速定制大模型问题的关键所在。向量数据库是一种专门用于存储和处理高维向量数据的技术。它采用高效的索引和查询算法，实现了海量数据的快速检索和分析。如此优秀的性能之外，向量数据库还可以为特定领域和任务提供定制化的解决方案。科技巨头诸如腾讯、阿里等公司纷纷布局向量数据库研发，力求在大模型领域实现突破。
大模型应用技术原理 RAG（Retrieve-And-Generate） 基于检索和生成的方法 向量数据库 cloud-native 云原生
万有文的博客
04-16 879
大模型应用技术原理中的RAG（Retrieve-And-Generate）是一种基于检索和生成的方法，它结合了搜索算法和大型语言模型（LLM）来回答查询并提供相关信息。RAG通过在大规模数据上进行预训练，然后在特定任务上进行微调，从而提高了模型的性能和应用范围。在RAG中，向量数据库扮演着关键角色。向量数据库是一种专门用于存储多维向量数据的数据库，这些向量可以表示特定特征或质量信息。
深度学习·wandb
2301_80132162的博客
10-01 405
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 774
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
深度学习：DCGAN
Landy_Jay的博客
10-01 462
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 981
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 466
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
法律大语言模型中的RAG检索增强生成
08-19
在法律领域的大语言模型中，RAG（Retrieval-Augmented Generation，检索增强生成）是一种技术，它结合了检索模型和生成模型的优势。首先，检索模型会在大量的文本数据（如法律文档、判例法等）中搜索相关信息，找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值