RAG解决方案：解决LLM大模型私域数据缺失问题

最新推荐文章于 2024-09-05 07:00:00 发布
最新推荐文章于 2024-09-05 07:00:00 发布
阅读量330 收藏 1
点赞数 3
分类专栏： 机器学习 文章标签： 算法 人工智能 机器学习 LLM 大模型 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzp666/article/details/138571679
版权

目前LLM大模型是一种预训练模型(训练完成后 信息就会截止)，那么在获取最新数据和私域数据时候，LLM会有无法给出相关回答的问题。

那么RAG方案可以一定程度上解决这个问题。

用户搜索后，会先在检索系统中检索，然后再把问题和私域数据，一起给到LLM，然后再进行评估等方式，最终得到更好的回答。

RAG架构

腾讯云利用ES技术栈来实现：

向量检索：

hzp666
关注
专栏目录
如何创建高质量的本地知识库增强大模型私域任务处理能力
andy20160103的博客
04-30 1940
受训练阶段和提问的表达方式等影响，大模型不能准确理解用户意图受训练数据和时效性影响，大模型无法回答领域知识，当我们需要了解除它们训练数据以外的具体知识时，往往会达不到要求对于第一个限制，开源基础模型的理解能力不断提升，例如已开源的qwen-72B刷榜各评测榜单，对使用者的提示能力要求进一步降低，且已有能力已满足多样性任务需求，适合直接部署使用。对于第二个限制，使用检索增强生成技术（RAG，Retrieval Augmented Generation）是目前一种经济可行的方案。
人工智能_大模型013_AIGC生成式模型的增强检索_RAG知识补充检索_补充私域和实时场景知识_关键字检索增强---人工智能工作笔记0149
添柴程序猿的专栏
03-02 276
可以看到RAG的过程是,当我们左侧给他一个文档以后,可以看到,文档内容会进入到一个我们构建的向量知识库,然后当我们提问的时候左侧Llama2可以商用嘛?什么是RAG,RAG的意思就是,如果一套生成式AIGC大模型,你昨天训练了以后,那么今天的知识,还没有给他进行训练,那么回答的时候,他就会遗漏今天的知识,那么我们就可以通过检索的手段,把今天的知识,检索出来,然后补充道prompt中,给这个大模型.让他参考,这样就包含了今天的知识相当于实时了就.会说到向量检索,位向量检索,设计的数据库,然后实现RAG系统.
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 1029
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
一款大模型框架，专注私有数据处理
2301_76161259的博客
07-03 707
Embedchain 是一个开源的 RAG 框架，倡导的设计原则是”常规但可配置"，旨在为软件工程师和机器学习工程师提供便捷。Embedchain 能够简化 RAG 应用的创建流程，无缝管理各类无结构化数据。它可以有效地将数据切分成易于管理的段落，生成相应的嵌入，并将其存储在向量数据库中以实现优化检索。通过多样化的 API 集合，用户能够提取上下文信息，查找准确答案，或参与互动聊天会话，所有这些都能够量身定制来满足自己的数据要求。
RAG笔记：常见问题以及解决方法
qq_40206371的博客
03-25 1198
通过标签分类文档，在搜索时通过标签来缩小搜索范围，减少无关信息干扰，检索与用户查询最相关的文档。采用分布式处理框架提升力，确保系统在面对大规模数据时仍能保持高性能和高可用性。分析用户的查询词汇和历史交互，缩小搜索范围，提高检索的相关性。
【LLM大模型】落地RAG系列：RAG入门及RAG面临的挑战和解决方案！！
AAI666666的博客
07-31 1172
2023 年以来，RAG 已成为基于大模型的人工智能系统中应用最为广泛的架构之一。因此对 RAG 应用的性能、检索效率、准确性的研究成为核心问题。
RAG 与 LLM 相遇：面向检索增强大语言模型的技术综述
yorkhunter的博客
05-26 844
24年5月来自香港理工、百度和新加坡国立大学的论文“A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models”。
一文细数大模型 RAG 十二大痛点及解决方案
2201_75499313的博客
07-13 1171
暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。检索增强式生成（RAG）是一种使用检索提升语言模型的技术。具体来说，就是在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程。这种技术能极大提升内容的准确性和相关性，并能有效缓解幻觉问题，提高知识更新的速度，并增强内容生成的可追溯性。
大模型落地 | RAG 精确应对大模型敏感问题知识幻觉难题
m0_63171455的博客
06-07 1826
而在大模型处理敏感问题上，由于敏感问题具备一定的推理复杂性、高时效性，因此使用常规的向量数据库存储知识、检索召回注入 prompt，会面临高维护成本的基础上，并不能完全解决最新的敏感（如时政）问题，且面对较为复杂的问题上，传统的 RAG 范式并不能覆盖所有的问题。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
LLM+RAG：大模型在金融场景的落地探索
Datawhale
08-30 2072
如何撞破金融大模型落地的天花板？RAG、Agent怎样应用？因果推断、Uplift模型仍然发挥作用？最新的大数据和数据治理实践？金融公司数智化三部曲是什么？8月31日，09:00-17:00，DataFun将联合业内多位知名专家举办DataFunSummit2024：数智金融技术峰会，并和大家一起探讨大模型领衔的数据和智能技术的最新态势，分享各自的研究成果与实践经验，共同推动大模型及相关技术在金融...
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
丨汀、的博客
08-09 312
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1748
面向LLM的RAG技术：综述
从数据到洞察：DB-GPT驱动的智能化财报分析解决方案
最新发布
丨汀、的博客
09-05 349
从数据到洞察：DB-GPT驱动的智能化财报分析解决方案
基于llm+rag构建自己的知识图谱
xiaomu_347的博客
06-29 342
点击进去会有一个注册框，填写完成自己的信息之后会进入下载页面。同时需要注意保留页面左下角的激活码。按照下载页面的安装说明进行安装。这些数据库在存储和查询知识图谱数据时具有不同的特点和优势，选择适合自己需求的数据库取决于具体的应用场景和性能需求。至于llm和rag技术这里不做过多赘述，可以查看前面的学习笔记，下面主要介绍一下知识图谱，，密码在首次登录时设置。接下来就像mysql数据那样，可以直接通过Neo4j浏览器进行操作。在浏览器中打开Neo4j Web界面，并登录。而三元组是图中的基本数据单元。
深度学习四个明显的缺点
热门推荐
hzp666的博客
09-29 1万+
1.只能根据寄有的数据来学习；不会判断数据正确性。 深度学习可以在不理解数据的情况下模仿数据中的内容：它不会否定任何数据，不会发现社会上的偏见，而只是“学习数据”。 深度学习只相信它在数据中频繁看到的事物、底层模式和趋势，因此它会放大人类社会的偏见和问题。 如果数据显示被逮捕的黑人比白人多，那么一旦有人犯罪，深度学习将首先怀疑黑人。数据显示公司董事会董事中 男性比例高于女性，深度学习将在招
基于pytorch训练图像识别
hzp666的博客
05-05 1994
1.准备数据集2.清洗图片3.划分训练测试数据4.训练模型5.保存模型6.使用模型预测。
图像识别-YOLO V8安装部署-window-CPU-Pycharm
hzp666的博客
09-20 1970
PyTorch 无疑是现在最成功的深度学习训练框架之一，是各种顶会顶刊论文实验的大热门。比起其他的框架，PyTorch 最大的卖点是它对动态网络的支持，比其他需要构建静态网络的框架拥有更低的学习成本。PyTorch 源码 Readme 中还专门为此做了一张动态图：对研究员而言， PyTorch 能极大地提高想 idea、做实验、发论文的效率，是训练框架中的豪杰，但是它不适合部署。
大模型介绍1：理论基础
hzp666的博客
01-23 1466
语言大模型的涌现能力[18]、规模定律[14]，多模态大模型的知识表示、逻辑推理能力、泛化能力、情景学习能力[19][37]等方面有待展开深入研究，为大模型的大规模 实际应用提供理论保障。大模型基于数据驱动深度学习方式，依赖训练数据所覆盖的场景，由于复杂场景数据不足，大模型存在特定场景适用性不足的问题，面临鲁棒性和泛化性等挑战。早期的语言大模型表现出一定 的少样本学习能力，但是其学习目标主要通过预测下一个单词实现， 仍不能很好地遵循人类指令，甚至会输出无用的、有害的信息，难以 有效对齐人类的偏好。
RAG：知识检索与生成的融合，解决LLM知识更新难题
在现代信息技术领域，尤其是自然语言处理(NLP)的研究中，Retrieval-Augmented Generation (RAG) 是一种重要的创新方法，旨在解决大规模语言模型（Large Language Models, LLMs）在问答和对话场景中的知识更新难题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值