LLM基础概念：RAG

于 2024-09-29 09:49:56 发布
阅读量229 收藏 2
点赞数 3
分类专栏： LangChain入门 AI-相关概念 文章标签： langchain 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40307696/article/details/142628241
版权

什么是RAG

在大语言模型时代，RAG指的是在回答问题或生成文本时，先从大规模文档库中检索相关信息，然后利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG已被证明能显著提高回答的准确性，减少模型产生的幻觉，尤其是在知识密集型任务中。

RAG的好处

  1. 提高答案准确性：通过引用外部知识库中的信息，RAG可以提供更准确的回答
  2. 增加用户信任：用户可以通过引用的来源来验证答案的准确性
  3. 便于知识更新和引入特定领域知识：RAG通过结合LLMs的参数化知识和外部知识库的非参数化知识，有效的解决了知识更新的问题。

如何实现RAG

​

RAG如何做到效果最优

  • 提高数据质量：
    • 数据清洗：清理掉明显的噪音和错误数据提高数据的多样性和数量
      • 知识库走知识图谱，建立概念之间的关系
  • 知识召回的质量：召回率和准确率
    • 合理的chunking，多留一些overlap，保持语义性
    • 召回采用多种手段：搜索+语义综合召回，提升召回匹配度
  • 评测驱动
    • 多调试，通过评测数据结果驱动调优；并且通过case study理解大模型进一步做出适配的调优策略。
weijie.zwj
关注
专栏目录
（13-5）RAG基础知识介绍：RAG融合、编码器、 LLM 微调和RAG评估
码农三叔
02-04 1710
这种双编码器的技术调整了LLM和检索器，通过调整查询、上下文和答案的三元组，达到更好的性能。更先进的方法不仅考虑了命中率，还包括了一些常见的搜索引擎评估指标，如平均倒数排名（Mean Reciprocal Rank），以及生成答案的质量指标，如真实性和相关性，这在OpenAI的实用指南中得到详细展示。RAG系统的性能评估工作是确保其有效运作的关键，在当前市面中，各种主流框架都提供了多个独立的指标，用于综合评估系统的不同方面，这些指标包括总体答案相关性、答案基础性、忠实度以及检索到的上下文相关性。
LLM大模型：RAG 向量数据库
huang9604的博客
07-30 349
LLM大模型：RAG 向量数据库
LLM 研究方向(三): LLM Hallucinations--RAG
天狼啸月1990的博客
07-10 961
，是一种结合了信息检索 retrieval和生成技术generation的nlp方法。概念：LLM hallucinations 幻觉指的是LLM生成的内容中。这些幻觉内容看起来像是真实和连贯的，但实际上是错误的或没有依据的。提升数据质量、引入验证机制、加强监督学习、使用组合模型、后处理检查。通过这些方法，可以有效减少幻觉，提高生成内容的准确性和可靠性。包含虚构、不准确或误导的信息。RAG方法(检索增强生成)信息检索retireval。得到的有用信息作为答案辅助。1.4.4 使用组合模型。
LLM大模型：使用CLIP和LLM构建多模态RAG系统
2301_81888214的博客
07-18 649
在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。
[LLM]：检索增强生成技术：RAG
Bin_Dut的博客
09-02 830
检索增强生成（Retrieval-Augmented Generation, RAG）技术旨在通过信息检索系统从外部知识库中获取相关信息，为大语言模型提供时效性强、领域相关的外部知识，以减少大语言模型生成内容中的错误。
BIORAG: RAG+LLM在生命科学领域的玩法
组学之心，专注多组学/ 医学AI 领域
08-12 1060
接下来，系统会通过Prompt #1提示，选择合适的工具或检索方法。3.对于蛋白质编码基因任务，在应用简单的词汇映射后，我们认为精确匹配是正确的，该词汇映射将模型预测的“是”/“否”转换为“真”/“NA”，并将拉丁物种名称转换为它们的非正式名称。使用基因-疾病关联任务，目标是返回给定疾病的相关基因，以及蛋白质编码基因任务，该任务询问基因是否为蛋白质编码基因。（3）基础模型：（M1）以 Llama-3-8B 作为基础 LLM，（M2）以 Llama-3-70B 作为 BioRAG 的基础 LLM。
LLM概念梳理（二）：检索增强RAG
Bat_Reality的博客
08-21 692
这篇文章对 RAG 技术进行了详细的描述。我根据自己的理解，并且按照代码思路重新进行整理。RAG 技术看似神奇，其本质是结合了检索和生成两个子任务的一种系统工程，其中每个子任务有明确的技术原理支撑。检索模型充当“图书馆员”，扫描大型数据库以获取相关信息，生成模型充当“作家”，将这些信息合成为与任务更相关的文本。它用途广泛，适用于摘要、自动化客户服务和复杂研究任务等多种领域。具体来说，首先，对知识库进行，使用加载器从知识库中获取文档并分割成文档片段，经过嵌入后得到向量数据库；然后是。
【LLM大模型】落地RAG系列：RAG入门及RAG面临的挑战和解决方案！！
AAI666666的博客
07-31 1166
2023 年以来，RAG 已成为基于大模型的人工智能系统中应用最为广泛的架构之一。因此对 RAG 应用的性能、检索效率、准确性的研究成为核心问题。
LLM大模型：Tree-RAG工作流程及实体树应用介绍
Langchain的博客
07-18 793
T-RAG方法基于将检索增强生成（Retrieval-Augmented Generation，简称RAG）架构与开源经过微调的大型语言模型（Large Language Model，简称LLM）以及实体树向量数据库相结合。这种方法的重点在于上下文检索。
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1743
面向LLM的RAG技术：综述
AI数据技术02：RAG数据检索
gongdiwudu的专栏
10-04 6168
​ 在人工智能的动态环境中，检索增强生成（RAG）已成为游戏规则的改变者，彻底改变了我们生成文本和与文本交互的方式。RAG 使用大型语言模型（LLM） 等工具将信息检索的强大功能与自然语言生成无缝结合，为内容创建提供了一种变革性的方法。 ​
LLM之KG：利用大语言模型(LLM)对文本语料提取概念和概念之间的语义关系进而实现自动构建知识图谱
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-13 1216
​ LLM之KG：利用大语言模型(LLM)对文本语料提取概念和概念之间的语义关系进而实现自动构建知识图谱 目录 利用大语言模型(LLM)对文本语料提取概念和概念之间的语义关系进而实现自动构建知识图谱 利用大语言模型(LLM)对文本语料提取概念和概念之间的语义关系进而实现自动构建知识图谱 知识图谱简介 知识图谱（Knowledge Graph）是一个语义网络，表示现实世界实体及其相互关系。实体可以是对象、事件、情境或概念。知识图谱通常以图形结构存储在图数据库中，使信息的可视化和查询更加直观。
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 2969
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1259
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 793
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 714
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1549
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 265
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
Python/大数据/机器识别毕业设计选题题目推荐
最新发布
初尘屿风的博客
09-27 803
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值