大模型知识检索RAG业务实践实践(初级篇)

于 2024-08-30 07:00:00 发布
阅读量116 收藏
点赞数 3
分类专栏： LLM工业级落地实践 搜索推荐系统相关技术业务落地方案及码源 文章标签： 人工智能 AI Agent 知识问答 智能问答 RAG RAG实战
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/141636746
版权

大模型知识检索RAG业务实践实践(初级篇)

1.知识检索大图

大模型是现在一个非常热门的话题，大模型表现出的生成能力也是非常惊艳。但是强如 GPT4 这样的大模型，它在知识更新和幻觉上也会存在问题。比如说我们问互联网行业有什么大事，GPT4 的回答是三年前的内容。主要是说疫情和互联网监管等三年前的信息。原因是因为训练 GPT4 的知识是截止于 2021 年的。另外一个就是幻觉问题，你问大模型美团 CEO 是谁？GPT4 回答王慧文，但实际上是王兴。那对于生成模型的这两个问题：知识更新和幻觉，在金融领域的话是比较致命的。金融领域比如对于金融行情描述等等，都是需要实时的知识更新的。在保险理赔领域，如果出现幻觉问题，问了一个重疾险能赔吗？如果说能赔，是要负法律责任的。对于一个金融这种严谨高时效性的场景，我们就需要解决这两个问题。

有效的解决方案就是知识检索。通过检索高时效、可信、丰富的知识，让大模型根据检索的知识进行可控的生成。

下面我们就看一下整个知识检索的大图：

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大模型中的RAG从入门到精通
m0_63171455的博客
06-15 840
这类似于书后的索引。” 这个query，通过访问知识图谱，LLM 代理可以持续检索关于最新的阿尔茨海默病治疗的结构化数据，如“胆碱酯酶抑制剂”和“盐酸美金胺”，RAG 系统将进一步提出更具体的问题: “关于胆碱酯酶抑制剂和盐酸美金胺治疗阿尔茨海默病的最新研究是什么?在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。基本上是一次又一次的运行数据块提取，检索提取的信息，并存储在一个知识图谱中，以强制连接来揭示关系。
【ai大模型】在大模型RAG系统中应用知识图谱
Langchain的博客
07-13 1125
在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。
大模型RAG优化方案与实践（非常详细）从入门到精通，看这一篇就够了
2401_86584842的博客
08-06 983
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GPT系列、LLama系列等模型，在语言交互场景下表现十分抢眼。
大模型检索召回系统：RAG技术的全面调查与未来展望
人工智能讲师分享前沿技术
04-24 1165
随着人工智能技术的飞速发展，大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著成就。然而，这些模型在处理特定领域或知识密集型任务时仍面临挑战，如产生错误信息或“幻觉”。为了克服这些难题，检索增强生成（Retrieval-Augmented Generation，简称RAG）技术应运而生，它通过整合外部数据库的知识来增强模型的生成能力，特别是在知识密集型任务中表现出色。
RAG技术在大模型时代的原理与实践探究
金融机器智能社区
05-31 1350
在LLM时代，RAG的具体定义指的是，当回答问题或生成文本时，首先从大量文档中检索相关信息。随后，利用这些检索到的信息来生成响应或文本，从而提高预测质量。文档被分割成块，编码成向量，并存储在向量数据库中；根据语义相似性检索与问题最相关的前 k 个块；将原问题和检索到的词块一起输入大语言模型中，生成最终答案。RAG文本问答RAG多模态问答02.
零基础也能看懂的大模型RAG入门
2401_84204207的博客
05-28 1122
这类似于书后的索引。” 这个query，通过访问知识图谱，LLM 代理可以持续检索关于最新的阿尔茨海默病治疗的结构化数据，如“胆碱酯酶抑制剂”和“盐酸美金胺”，RAG 系统将进一步提出更具体的问题: “关于胆碱酯酶抑制剂和盐酸美金胺治疗阿尔茨海默病的最新研究是什么?在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。基本上是一次又一次的运行数据块提取，检索提取的信息，并存储在一个知识图谱中，以强制连接来揭示关系。
大模型的局限性和 RAG
编码时光
02-23 739
3、用户问问题，下一步把问题通过Embedding Model向量化，然后从Cache中（向量数据库）查询类似的问题和答案，返回给用户。RAG 将搜索内容通过Embeding Model向量化，然后存储到向量化数据库，然后将形成问题的正文给到LLM，LLM返回应答结果。以上三个模式可以解决不同类型的数据如何让大模型知道的问题，同时在性能和效率上得到了提高，解决了长时记忆的问题，幻觉问题也有很大改善。传统的方式是问题通过解析后形成问题正文然后传导给大模型，大模型完成回答。然后调用LLM完成问题的回答，
【在大模型RAG系统中应用知识图谱】_rag知识挂载图示
lhx17673139267的博客
07-10 1053
对于复杂的 RAG 和多跳数据检索的一般场景，如下图所示, 关于RAG的更多信息可以参考《[大模型系列——解读RAG]》。
【在大模型RAG系统中应用知识图谱】
2401_85375298的博客
07-05 814
对于复杂的 RAG 和多跳数据检索的一般场景，如下图所示, 关于RAG的更多信息可以参考《[大模型系列——解读RAG]》。
【AI大模型应用实战】AI大模型应用架构（ALLMA）白皮书
禅与计算机程序设计艺术
06-30 9099
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
在不同的 RAG 阶段注入知识图谱
HJ_blog
01-21 232
每日推荐一篇专注于解决实际问题的外文，精准翻译并深入解读其要点，助力读者培养实际问题解决和代码动手的能力。原文标题：Injecting Knowledge Graphs in different RAG stages原文地址：https://medium.com/enterprise-rag/injecting-knowledge-graphs-in-different-rag-stages-a3cd1221f57b在本文中，我想准确地介绍知识图谱 (KG) 在 RAG 中的应用。
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
丨汀、的博客
08-27 33
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1593
面向LLM的RAG技术：综述
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
丨汀、的博客
04-23 1300
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 7361
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 3193
小迪安全学习笔记
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 6944
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
关于人工智能（AI）的研究报告
最新发布
weixin_44196785的博客
08-29 443
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
法律大语言模型RAG知识库检索
08-19
法律大语言模型RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索技术和深度学习生成技术的模型。它在处理法律问题时，首先会在其广泛的知识库中搜索相关信息，然后利用这些检索到的背景知识来生成更准确、详细的回答。这种模型的优势在于能够综合已有的法律规定、判例分析以及相关的学术资源，提高对复杂法律问题的理解能力。 举个例子，如果你问关于某个特定法规的具体应用或历史演变，RAG会先找到相关的法规文本和先前案例作为支撑，然后再生成相应的解答。不过，需要注意的是，尽管RAG在一定程度上提高了效率，但它并非完美无缺，对于过于复杂或新近出现的法律动态可能无法即时更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值