【LLMOps】面向小白的RAG知识分享

置顶 已于 2024-04-25 08:41:53 修改
阅读量1k 收藏 20
点赞数 29
文章标签： RAG LLM 大模型
于 2024-04-05 23:34:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44387339/article/details/137412287
版权

文章目录

博客详细讲解视频

点击查看高清脑图

在这里插入图片描述

1.为什么要做RAG

1.1. 解决幻觉问题

1.1.1 直接输入问题

小米汽车的型号

1.1.2. 问题 + 相关知识

请把引号内的内容作为你的知识
"3月28日晚7点，在小米汽车发布上，小米集团董事长雷军宣布，小米SU7正式发布，标准版售价21.59万元，雷军表示，这个价格小米是亏钱的； 小米SU7 Pro 版（后驱超长续航高阶智驾版）售价24.59万元； 小米SU7 Max版 （高性能四驱超长续航高阶智驾版）售价29.99万元。"
我的问题是：小米汽车的型号

2. 什么是RAG

2.1. 基本概念

  • Retrieval-Augmented Generation，检索增强生成
  • 把"问题 + 相关知识"一起输入到模型，模型根据相关知识生成答案，避免幻觉

2.2. 基本RAG方法

2.2.1. 知识预处理

  1. 解析知识库文件为文本，例如pdf、word、xlsx、txt
  2. 长文本分割为文本块
  3. 文本块转为语义向量 egg:[0.1234, 0.221, …, 0.1552] 768, 1024, 1536
  4. 保存语义向量到向量数据库
测试语义相关度
几岁了 & 今年多大了

2.2.2. 知识检索

  1. 用户问题转为语义向量
  2. 向量搜索: 计算余弦相似度，即向量内积 [0.1234, 0.221, …, 0.1552] · [0.2, 0.3, …, 0.2] = 0.1234 * 0.2 + 0.221 * 0.3 + … + 0.1552 * 0.2 = x . x∈[0, 1]
  3. 筛选出topK 或 余弦相似度 大于某个阈值的文本块

2.2.3. 答案生成

  1. 使用提示词模板组合问题与相关知识
请把引号内的内容作为你的知识
"{{knowledge}}"
我的问题: {{question}}
  1. 发送给大模型得到答案

3. RAG 与 Long Context

3.1. Long Context

超长文本输入

  1. gpt-4-turbo 128K文本输入
  2. kimi 200万文本输
  3. 通义千问 1000万文本输入

3.2. RAG 与Long Context

3.3 RAG对比Long Context的优势

  1. 成本更低
  2. 性能更高
  3. 数据量无限
  4. 数据多样性高

4. 高级RAG

4.1. 借助模型处理

4.1.1. 优化用户问题

  • 使用对话背景或历史对话补全用户问题
  • 拆分用户问题为多个问题
测试补全用户问题与问题拆分
问题：价格

4.1.2. 优化待检索知识

  • QA拆分: 文本分块，使用模型根据文本块生成QA问答对
  • 摘要：文本分块，使用模型总结一下文本块内容

4.2. 不借助模型

4.2.1 Small to Big


把文本块中的一句话向量化，召回的时候把这句话以及这句话前后附近的句子同时召回。或者召回的时候把这个句子整个段落都召回。

4.3. 优化检索方法

4.3.1 混合检索

向量检索的优势

除了能够实现复杂语义的文本查找，向量检索还有其他的优势：

  • 相近语义理解（如老鼠/捕鼠器/奶酪，谷歌/必应/搜索引擎）
  • 多语言理解（跨语言理解，如输入中文匹配英文）
  • 多模态理解（支持文本、图像、音视频等的相似匹配）
  • 容错性（处理拼写错误、模糊的描述）
向量检索的劣势

虽然向量检索在以上情景中具有明显优势，但有某些情况效果不佳。比如：

  • 搜索一个人或物体的名字（例如，伊隆·马斯克，iPhone 15）
  • 搜索缩写词或短语（例如，RAG，RLHF）
  • 搜索 ID（例如，gpt-3.5-turbo，titan-xlarge-v1.01）
关键词搜索的优势

而上面这些的缺点恰恰都是传统关键词搜索的优势所在，传统关键词搜索擅长：

  • 精确匹配（如产品名称、姓名、产品编号）
  • 少量字符的匹配（通过少量字符进行向量检索时效果非常不好，但很多用户恰恰习惯只输入几个关键词）
  • 倾向低频词汇的匹配（低频词汇往往承载了语言中的重要意义，比如“你想跟我去喝咖啡吗？”这句话中的分词，“喝”“咖啡”会比“你”“吗”在句子中承载更重要的含义）

参考资料：引入混合检索（Hybrid Search）和重排序（Rerank）改进 RAG 系统召回效果

4.3.2. 重排

RRF (Reciprocal Rank Fusion, 倒数排序融合)
RRF（Reciprocal Rank Fusion）算法和rerank算法都是用于改进搜索结果排序的方法。
RRF是一种将具有不同相关性指标的多个结果集组合成单个结果集的方法。这种方法的优势在于不需要调优，不同的相关性指标也不必相互关联即可获得高质量的结果。RRF算法的工作原理是，对于每个查询，如果文档在结果集中，那么它的分数就会增加1.0 / ( k + rank( result(q), d ) )，其中k是一个排名常数，rank( result(q), d )是文档在结果集中的排名。这样，即使你不了解不同方法中排名分数的确切分布，RRF也能提供出色的排序方法[1]。
例如，假设我们有两个查询，每个查询返回的结果集如下：
● 查询1的结果集：{文档A: 1, 文档B: 2, 文档C: 3}
● 查询2的结果集：{文档B: 1, 文档A: 2, 文档C: 3}
使用RRF算法，我们可以计算每个文档的分数：
● 文档A的分数：1.0 / (60 + 1) + 1.0 / (60 + 2) = 0.016 + 0.016 = 0.032
● 文档B的分数：1.0 / (60 + 2) + 1.0 / (60 + 1) = 0.016 + 0.016 = 0.032
● 文档C的分数：1.0 / (60 + 3) + 1.0 / (60 + 3) = 0.015 + 0.015 = 0.03
因此，最终的排名结果是：文档A，文档B，文档C。
Rerank算法则是在初步排序结果的基础上，对前N个结果进行重新排序。这通常是因为初步排序可能使用了一些快速但不够精确的方法（如ANN等），而rerank阶段则可以使用更精确的算法进行排序。例如，我们可以先使用某种快速的方法获取前30个结果，然后使用一种更精确的方法（如一一计算打分的方式）对这30个结果进行重新排序[2][4]。
例如，假设我们有一个初步排序的结果集：{商品A: 0.9, 商品B: 0.8, 商品C: 0.7}。然后我们使用一个更精确的模型进行rerank，得到的新的打分可能是：{商品A: 0.85, 商品B: 0.9, 商品C: 0.8}。因此，rerank后的结果集是：{商品B, 商品C, 商品A}。
总的来说，RRF和rerank都是用于改进搜索结果排序的方法，但它们的工作方式和使用场景有所不同。RRF是通过合并多个结果集来改进排序，而rerank则是在初步排序的基础上进行二次排序以提高精度。
(ChatGPT回答)
ReRank 模型
rerank模型的作用并不仅仅是重复向量化语义检索的功能，它还有几个关键的作用，使得在检索流程的最后阶段使用它是有价值的：
更深层次的分析：尽管rerank模型也是基于向量化的方法，但它通常能进行更深层次、更复杂的分析。例如，它可能会考虑查询和文档之间的微妙关系、上下文的细节、以及特定领域的知识，这超出了初步向量化语义检索的能力范围。
整合多种信号：Rerank模型可能会整合初步检索阶段未考虑的多种信号，如文档的新颖性、可靠性、用户行为数据等，从而提供一个更全面的评估。
优化用户体验：Rerank模型可以根据用户的具体需求和偏好进行调整，以优化用户体验。例如，它可以根据用户的历史交互对结果进行个性化调整。
处理多样性和公平性问题：在rerank阶段，可以采取措施确保结果的多样性和公平性，例如防止某一来源的文档过度占据顶部位置。
实时反馈和学习：Rerank模型可以利用用户的即时反馈（如点击率）来实时调整排序策略，更好地适应用户的当前需求。
总的来说，rerank阶段的目的不仅仅是再次评估文档的相关性，而是在初步检索的基础上提供更精细、更个性化、更符合用户需求的排序。这是对初步向量化语义检索的一个重要补充，而不是简单的重复。
(ChatGPT回答)

5. FastGPT RAG实战

5.1. 创建知识库

5.1.1. 直接分块

5.1.2. QA拆分

5.1.3. CSV 模板文件导入

indexcontent
直接分块文本：结合人工智能的演进历程,AIGC的发展大致可以分为三个阶段，即:早期萌芽阶段(20世纪50年代至90年代中期)、沉淀积累阶段(20世纪90年代中期至21世纪10年代中期),以及快速发展展阶段(21世纪10年代中期至今)。
问题：AIGC发展分为几个阶段？早期萌芽阶段(20世纪50年代至90年代中期)、沉淀积累阶段(20世纪90年代中期至21世纪10年代中期)、快速发展展阶段(21世纪10年代中期至今)
摘要：AIGC发展的阶段早期萌芽阶段(20世纪50年代至90年代中期)、沉淀积累阶段(20世纪90年代中期至21世纪10年代中期)、快速发展展阶段(21世纪10年代中期至今)

5.1.4. 混合检索

5.2. 创建应用

5.2.1. 提示词工程

  1. 系统提示词
  2. 知识库模板
Use the content within the  tags as your knowledge:
{{quote}}
Answer requirements:
- If you are unsure of the answer, you need to clarify.
- If the user's question is not related to your knowledge, please say you don't know.
- Avoid mentioning that your knowledge comes from the data.
- Keep your answer consistent with the description in the data.
- Use Markdown syntax to optimize the formatting of your answer.
- Answer in Chinese.
Question: {{question}}
水电费嘎嘎
关注
  • 29
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
【LLM-RAG】知识库问答 | 检索 | embedding
发现问题，并解决问题，批判性思维
01-01 3074
RAG流程（写作论文中的background：公式设定、emb、召回内容、召回基准）（工作中的思路《A Survey on Retrieval-Augmented Text Generation》该工作旨在对检索增强文本生成进行研究。主要核心的点如下：1、Retrieval Source知识来源源 训练语料：有标注的训练数据直接作为外部知识；外部数据：支持提供训练数据之外的外部知识作为检索来源，比如于任务相关的领域数据，实现模型的快速适应； 无监督数据：前两种知识源都需要一定的人工标注来完善“检索依据-
聊聊大模型 RAG 探索之路的血泪史，一周出Demo，半年用不好
2301_78285120的博客
01-28 1721
本文主要介绍了RAG现有的一些开源框架以及后续实践环节中大家真实的感受。实际上，RAG作为一个技术方案，目前已经有很多，大家都大差不差。目前，大模型和RAG等技术方案的开源，极大地拉开了大家的门槛，这是好事情，对推动技术和业务发展。但这个有不是好事情，这加剧了公司的竞争。丢掉幻想，打磨细节。
大模型 RAG 问答技术架构及核心模块盘点：从 Embedding、prompt-embedding 到 Reranker
2301_78285120的博客
01-11 3160
交叉编码器将对查询和答案实时计算相关性分数，这比向量模型(即双编码器)更准确，但比向量模型更耗时。因此，它可以用来对嵌入模型返回的前k个文档重新排序。不同于向量模型需要输出向量，直接文本对输出相似度(因为交叉编码器在句子层面的任务上表现非常好，但它存在一个“致命”缺点：交交叉编码器不产生句子嵌入，这个嵌入没有绝对意义)，排序准确度更高，可用于对向量召回结果的重新排序，提升最终结果的相关性。
私有化部署FastGPT+OneAPI大模型知识库
hou610433155的博客
01-18 4265
动手实践私有化部署大模型知识库，使用FastGPT+oneapi，实现本地化部署
【使用 langchain 创建RAG知识库完整教程】
qq_39749966的博客
03-10 933
安装对应的库导入工具包初始化一些东西（向量库，模板，模型LLM）构建chain, 使用LCEL技术开始使用。
RAG知识库问答LangChain+LLM的二次开发：商用时的典型问题及其改进方案
结构之法 算法之道
12-27 9975
如之前的文章所述，我司下半年成立大模型项目团队之后，我兼管整个项目团队，但为让项目的推进效率更高，故分成了三大项目组对于知识库问答，现在有两种方案，一种基于llamaindex，一种基于langchain +LLM，考虑到我已在此文《基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答》中详细介绍了langchain、以及langchain-ChatGLM项目的源码剖析，本文重点则阐述如何通过基于langchain-chatchat二次开发一个知识库问答系统，包括其商用时的典型问题
ragflow 大模型RAG知识库使用案例
weixin_42357472的博客
04-18 723
支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。注意：Docker >= 24.0.0 & Docker Compose >= v2.26.1。5、ip+端口（我这里8082）进入前端页面，需要注册账号才能进入，随便注册即可。1、如果启动时候端口冲突，可以自己进入yml进行修改端口。3、运行docker compose。这里也可以提前默认设置好相关模型。7、聊天（选择知识库与模型）6、进入后可以设置添加模型。
RAG知识图谱构建中的数据清洗与预处理
禅与计算机程序设计艺术
03-31 1429
随着人工智能技术的不断发展,知识图谱作为一种结构化的知识表示方式,在自然语言处理、问答系统、推荐系统等领域得到了广泛应用。其中,基于深度学习的开放域知识图谱构建系统RAG(Retrieval-Augmented Generation)备受关注。RAG系统通过结合检索模型和生成模型,实现了对开放域知识的有效利用和表达。然而,在知识图谱构建的过程中,原始数据中常存在大量噪音、冗余、错误等问题,这严重影响了知识图谱的质量。因此,如何对原始数据进行高效的清洗和预处理成为RAG系统构建中的关键环节。
RAG实战代码及知识库
03-13
基于yuan2.0大模型构建RAG系统所需的完整代码及实战知识库。
基于langchain的RAG实战
02-19
基于langchain的RAG实战
用于大模型RAG的检索语料
03-14
用于大模型RAG的检索语料
RAG本地离线训练自己的ChatPDF
02-05
RAG训练用PDF样例（太平洋金诺人生保险条款）
HP-Socket编译-Linux
05-20
HP-Socket编译-Linux
JavaScript_生活在Discord上的开源社区列表.zip
最新发布
05-20
JavaScript
JavaScript_MultiOn API.zip
05-20
JavaScript
JavaScript_简单和完整的React DOM测试工具，鼓励良好的测试实践.zip
05-20
JavaScript
prompt+rag
11-17
根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。 下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值