大模型学习路线（3）——知识检索增强（RAG）

已于 2024-04-24 14:09:07 修改
阅读量2.5k 收藏 39
点赞数 40
分类专栏： 大模型 & AIGC 文章标签： 学习
于 2024-03-19 18:39:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51175703/article/details/136812238
版权
本文详细介绍了RAG技术，包括理论基础、进阶步骤如Token分词、Embedding技术、知识向量库和相似性搜索，以及RAG在实践中的应用和案例。特别强调了RAG在LLM中的重要性和关键技术点。
摘要由CSDN通过智能技术生成

目录

一、 RAG理论篇（基础）

二、RAG理论篇（进阶）

1. Token分词

2. Embedding技术

3.知识向量库

4.相似性搜索/向量检索

5.知识召回

三、RAG实践篇

        上图为LLM+RAG运行的整体流程。如果想对RAG有系统化的理论认知，基本看如下三篇技术概览足矣，其它不再多做赘述了，毕竟没必要重复造轮子(bushi。

        章节一的三篇技术概览了RAG理论部分，从RAG整体流程介绍，到RAG流程涉及每一步骤的细节详解、常用技术，再到总结、当下发展、未来展望。章节二为进阶部分，介绍了RAG涉及的关键技术。章节三给出了RAG实战demo。

        RAG内容为LLM岗重点考察内容，涉及知识点多的嘞！！！

一、RAG理论篇（基础）

RAG整体流程
  1. RAG技术概览（一）高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望 - 知乎 (zhihu.com)
  2. RAG技术概览（二）深度好文！最全的大模型 RAG 技术概览 - 知乎 (zhihu.com)
  3. RAG技术概览（三）RAG实战全解析：一年探索之路 - 知乎 (zhihu.com)

二、RAG理论篇（进阶）

1. Token分块

官网链接：字符文本分割器# | LangChain中文网:500页中文文档教程，助力大模型LLM应用开发从入门到精通

常用知识向量库有自定义分割器、BPE、字符文本分割器（CharacterTextSplitter）、Huggingface长度函数（CharacterTextSplitter.from_huggingface_tokenizer）、Latex 文本分割器（LatexTextSplitter）、Markdown文本分割器（MarkdownTextSplitter）、NLTK文本分割器（NLTKTextSplitter）、PythonCodeTextSplitter、递归字符文本分割器（RecursiveCharacterTextSplitter）、Spacy 文本分割器（SpacyTextSplitter）、TiktokenText 分割器。

2. Embedding技术

转至链接：文本嵌入模型 text-embedding-model# | LangChain中文网:500页中文文档教程，助力大模型LLM应用开发从入门到精通

3. 知识向量库

常用知识向量库有Milvus、FAISS、Zilliz、Elasticsearch、Chroma、Lance等。详情访问LangChain中英文官网链接：Milvus# | LangChain中文网:500页中文文档教程，助力大模型LLM应用开发从入门到精通（中）；Vector stores | 🦜️🔗 LangChain（英）。

4. 相似性搜索/向量检索

常用相似性搜索有：

详情访问LangChain中英文官网链接：检索器接口 Retrievers# | LangChain中文网:500页中文文档教程，助力大模型LLM应用开发从入门到精通（中）；Vector store-backed retriever | 🦜️🔗 LangChain（英）

（1-4流程的demo如下）

from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma



### 入门 Demo
# （1）读取外加文档
with open('../../state_of_the_union.txt') as f:
    state_of_the_union = f.read()
# （2）Token分块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_text(state_of_the_union)

# （3）Embedding嵌入（以向量数据库Chroma为例）
embeddings = OpenAIEmbeddings()
# （4）存入向量数据库
docsearch = Chroma.from_texts(texts, embeddings)

# （5）相似性检索（similarity search）
query = "What did the president say about Ketanji Brown Jackson"
docs = docsearch.similarity_search(query)
# （6）Results
print(docs[0].page_content)

5. 知识召回

5.1 知识召回流程

        （此处cue一下推荐系统的知识召回。针对推荐系统，后续也会进行系统的学习+实践+专栏整理，埋个坑先......）

图5.1 知识召回+Rank排序

（1）物料库经过Tokensize、Embedding后，得到Vectors，扔进向量数据库进行初步检索和知识召回（对称召回和非对称召回）；

（2）初步召回得候选集进行粗排；

（3）粗排后，对候选集进行精排，根据Q & A的匹配程度/相似度进行Rank排序，挑选Top K个答案。涉及多种技术，包括文本召回、向量召回、推荐召回、标签召回、Embedding召回、协同召回、图召回等，以及多种召回算法混合的多路召回；（召回方法如何选择，一看具体的业务场景，二看准确率和召回速度上的平衡。一般来说，多路召回效果好、但召回和推理速度很慢，单路召回速度快，但准确率可能会有所损失。）

（4）Rerank，得到Top K检索结果，以及各检索项的得分。

5.2 RAG知识召回分类

        分生成式和检索式召回（文本召回、语义召回、多路召回）召回两个角度。重点分析检索式召回和文本召回、语义召回的优缺。

图5.2 LLM常用知识召回分类

召回分类

文本召回（/倒排召回/稀疏向量召回） 

语义召回（/向量召回/稠密向量召回）

优点

（1）检索速度更快；

（2）可解释能力强；

（3）精确匹配能力强；

（4）支持自定义停用词表，同义词表。

（1）考虑语义相似性，更加智能；

（2）语义相近即可召回，无需寻找同义词替换；

（3）无需考虑复杂的传统倒排的调优手段；

（4）具备支持跨模态召回的潜力。

缺点

（1）无语义信息，对“一词多义”不友好；

（2）语义偏移。

需要模型训练，对垂直领域落地支持有限：

（1）垂直领域泛化性不足（不理解专有词汇；易出现语义相似但主题不相似的情况）；

（2）对精准匹配支持不足，难以用专业词汇精准召回；

（3）可解释能力弱；

（4）需要更多的计算资源；

（5）对”多词一义”情况的支持不如倒排召回中的同义词表简单直接。

三、RAG实践篇

转至链接：大模型学习路线（10）——入门项目推荐_大模型入门实例-CSDN博客（章节二）；

或参考原项目链接：飞桨AI Studio星河社区-人工智能学习与实训社区 (baidu.com)

熬夜造bug
关注
专栏目录
LLM - 使用 RAG (检索增强生成) 多路召回 实现 精准知识问答 教程
Mystra
09-29 1310
RAG (Retrieval-Augmented Generation，检索增强生成) 的多路召回，包括向量召回和本文召回，可用于精准知识问答，减轻大模型的幻觉问题。并行：同时使用文本召回和向量召回，合计获得 TopN 个样本，再使用重排序的方式，获得 TopK 个样本，作为最终的召回文本。串行：优先使用文本召回，召回 TopN 个样本，再使用向量排序，获得 TopK 个样本，作为最终的召回样本。
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 3202
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
一文彻底搞懂大模型 - RAG（检索、增强、生成）
2301_78285120的博客
09-01 1806
如何理解RAG？通过上一个问题，我们知道了什么是RAG？了解到RAG是一种结合了信息检索、文本增强和文本生成的自然语言处理（NLP）的技术。RAG的目的是通过从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容。那我们如何理解RAG的检索、增强和生成呢？检索：检索是RAG流程的第一步，从预先建立的知识库中检索与问题相关的信息。这一步的目的是为后续的生成过程提供有用的上下文信息和知识支撑。
大模型学习笔记五：RAG
谢白羽
03-04 1626
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程：1、文档加载，并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程：Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。
RAG检索增强技术在知识库智能检索场景下的应用实践
人工智能讲师分享前沿技术
05-08 867
知识检索增强的基本概述1.1、知识检索增强技术提出的背景知识检索增强技术的提出是为了解决当前基于LLM的知识检索存在的种种问题，并满足实际应用对知识检索系统的新需求。1.2、RAG 检索增强生成同时，RAG模型也为我们提供了一种全新的思路，能够更好地结合信息检索和文本生成的能力，为各种应用场景提供更加智能、高效的解决方案。随着人工智能技术的不断发展，RAG模型有望在各个领域发挥越来越重要的作用，成为推动智能化应用发展的重要技术手段之一。1.3、外挂知识库 vs 知识参数化在大模型的优化方式中，外挂知识库和知
RAG学习
m0_56392638的博客
02-23 930
TF 和 IDF 一个关注词在当前出现频率，一个关注词出在当前文档的独特性（出现在了多少个文档），两者相乘就能得到这个词对该文档的独一无二性。BM25Okapi 是一种变体（改的简单了一点，感觉是省略掉了询问和文档之间的词频差异）下面 avgdl 代表文档平均长度，qfreq 代表询问中的词频，k1 和 b 都是可调超参，分别控制词频和文档长度影响。function call 指的是自己用语言描述一个函数，当模型接受到问题后，会分析是否要调用这个函数，若调用则从用户提供的文本中提取函数需要的函数值。
RAG学习路线(非常详细)，从零基础入门到精通，从看这篇开始！
最新发布
CSDN_224022的博客
09-23 749
github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。我将分5个章节来介绍它，分别为：本篇文章讲RAG背景介绍。LLM会产生误导性的 “幻觉”，训练数据会过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation
大模型知识检索RAG业务实践实践(高级篇)
丨汀、的博客
08-31 3969
大模型知识检索RAG业务实践实践(高级篇)
知识图谱与大语言模型的协同（RAG）——MindMap
qq_52053775的博客
05-02 623
大型语言模型（LLMs）在处理新信息、防止生成幻觉内容、以及增强决策过程透明度方面存在局限。存在的问题不灵活性（Inflexibility）：预训练的LLMs包含过时的知识，并且很难进行参数更新。幻觉（Hallucination）：LLMs在生成答案时常常会产生听起来合理但实际错误的幻觉，这在高风险领域尤为关键。缺乏透明度（Lack of Transparency）：由于LLMs的“黑盒”特性，其决策过程不易被理解和验证。解决方案。
大模型知识检索RAG业务实践实践(技术详解篇)
丨汀、的博客
08-31 3531
大模型知识检索RAG业务实践实践(技术详解篇)
大模型-大模型RAG应用基础认知视频
03-16
本视频系列专注于大模型的一个具体应用——RAG（Retrieval-Augmented Generation），这是一种结合检索和生成的新型NLP技术，旨在提高模型的上下文理解和回答生成质量。 **大模型RAG应用基础认知** 1. **什么是RAG*...
学习RAG知识
he1223991940的博客
08-12 1031
"RAG" 是 Retrieval-Augmented Generation 的缩写，这是一种结合检索和生成的技术，用于改进自然语言处理任务中的信息生成。RAG 模型通过首先从一个大型文档集合中检索相关信息，然后基于这些检索到的信息生成回答或文本。这种方法可以提高生成内容的准确性和相关性，特别是在需要特定知识或上下文的任务中。RAG使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。
大模型+检索增强（RAG、Atlas 和 REPLUG）
热门推荐
ZhengrongYue的博客
09-19 1万+
大模型+检索增强/图谱增强（RAG、Atlas 和 REPLUG）
大模型RAG入门及实践
奇舞周刊
05-14 925
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
RAG学习（一）
weixin_52870407的博客
01-19 205
本文主要在基础RAG方案之上，从宏观层面梳理RAG的优化策略和方案。作者主要通过两个方面进行论述，即RAG优化核心策略和RAG优化方案。本文未涵盖Prompt Engineering和比较复杂的多模态RAG内容。0、什么是RAG检索增强生成（Retrieval Augmented Generation，简称 RAG）为大语言模型 (LLMs) 提供了从数据源检索的信息，以此为基础生成回答。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 2560
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
大模型范式下的知识检索增强实践（非常详细）零基础入门到精通，收藏这一篇就够了
Python_paipai的博客
07-05 1347
当RAG链路中使用原始Query没能检索到可回答的文档时，我们就需要通过对原Query进行改写来实现对相关搜索文档的扩充。现阶段，尽管大模型自身可以实现Query改写，但因其高昂的调用成本，RAG链路中小型改写模型仍非常重要。目前学术界和工业界改进小型Query改写模型的主要思路之一是基于强化学习反馈。然而，过去对于改写的反馈通常基于标注数据如特定数据集的标注文档或特定任务的标注答案等。在通义的开放域问答场景往往缺乏这样的标注，此外依赖标注数据的反馈思路缺乏足够的泛化能力。
大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
EnjoyEDU的博客
08-08 1288
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值