RAG （Retrieval Augmented Generation）简介

已于 2024-02-15 10:21:09 修改
阅读量1.6k 收藏 20
点赞数 24
文章标签： RAG LLM ai chatbot
于 2024-02-14 22:42:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juhanishen/article/details/136032941
版权
文章介绍了RAG（RetrievalAugmentedGeneration）方法，如何利用通用大模型和企业自身的知识库，通过入库、查询和合成，降低中小企业的AI应用成本。高级优化如QueryExpansion和Cross-encodingDeRank也在文中提及。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 背景

目前大模型很多，绝大部分大模型都是通用型大模型，也就是说使用的是标准的数据，比如wikipedia，百度百科，。。。。 中小型企业一般都有自己的知识库，而这些知识库的数据没有在通用型的大模型中被用到或者说训练到。如果中小型企业要适合自己本身业务需要的大模型，当然理想的方法是重新训练数据，而这些数据有其自身业务场景的数据。 现实是自身训练无论是人力成本，数据成本，计算成本都是不可行的。那么一种基于通用大模型，并外挂本地知识库的人工智能方法RAG（Retrieval Augmented Generation）就运用而生。通过这种方法，中小型企业可以用很少的人力，物力，在不改动通用大模型的情况下，就能结合自身需要，为自己的业务场景服务。

2. 框架图和简单介绍

接下来，我们就来介绍RAG。我们先看标准的RAG流程或框架图，然后在下面的文字中介绍两种优化的RAG，我们还会给出处于研究中或朦胧状态的新的RAG的出处或文献参考。本文是基于下面的LLM或RAG课程的总结。【1】【2】【3】。

2.1 入库

那么现在，让我们先看标准的RAG流程或框架图：先是第一步入库，入库就是把原始分本分割，然后每个分割后的短文本，进行分词（chunk），然后向量映射（embedding），最后入库。

                                                        RAG 第一步入库

                                                            图 1

图1 是RAG的第一步，文本入库。库可以是一般数据库，文件系统都可以，我们这里用向量数据库作为例子。像目前的智能客服机器人，一般就是使用向量数据库。

2.1.1 分本分割

其中，文本分割是因为背景提示窗口大小的限制，一般只有几千个Token。Token是指最小的单词，字符和词组的向量。

​​​​​​​

                                                          图 2

我们的原始文件很长，但提示窗口一般只容纳几千个Token，所以，要将文本分割，这个就是文本分割。图2中，我们将一篇长文分割成4篇小文。

2.2 RAG 查询

入库成功以后，就是查询，然后就是augmented，augmented在这里是指将查询和向量数据库查出的结果合成作为一个新的提示，然后查询LLM（大语言模型）。 

 ​​​​​​​​​​​​​​​​​​​​​

                                                                     图 3                                   

从图3中，我们看出框架图组件有向量数据库（Vector Database）和大模型。向量数据库存储着中小企业的业务场景的本地知识库，用户先从向量数据库，就是本地知识库查询，然后将查询的结果作为大模型的输入，进行查询。

2.2.1 提示查询

当我们开始查询时，我们先查询本地知识库，就是向量数据库，然后向量数据库抽取数据，回复提问。就是图3中的第1，2，3步骤。

2.2.2 合成答复和查询

当向量数据库回复后，我们将查询向量数据库的问题和向量数据库的回答合成一个提示，再查询大语言模型。就是图3中的4，5步骤。

2.2.3 大模型回复/completion

合成后的提示输入到大模型中，得到回复/completion，就完成了一次RAG。 

3. 高级/优化的RAG

A. Query expansion

待下文发表

B. Cross-encoding DeRank

待下文发表

4. 处于朦胧时期的高级RAG

                                                图 4

5. 参考资料

[1]. coursera.org：Generative AI with large language model

[2]. deepLearning.ai：Advanced Retrieval for AI with Chroma

[3]. deep learning.ai:   Building and Evaluating Advanced RAG Applications

[4] 领英LLM的一些专栏

沈建军于上海 2024年2月14日周三

2）2024年2月15日小修改

juhanishen
关注
[论文笔记]Corrective Retrieval Augmented Generation
日积月累，天道酬勤
05-12 1474
⭐ 本篇工作提出了纠正式RAG来提高RAG生成的鲁棒性，但需要用到一个微调的检索评估器，不想进行这一步的也可以直接用LLM代替。同时对检索后的文档就行细粒度的处理，仅保留相关部分，以避免影响LLM的生成。
大模型笔记：RAG（Retrieval Augmented Generation,检索增强生成）
qq_40206371的博客
03-04 2746
将大规模语言模型(LLM)与来自外部知识源的检索相结合,以改进大模型的问答能力核心手段是利用外挂于LLM的知识数据库（通常使用向量数据库）存储未在训练数据集中出现的新数据、领域数据等。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
ZhenL9911的博客
06-26 2156
很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
RAG框架大总结：GraphRAG与传统RAG，27个框架一览无遗！
最新发布
2401_84495872的博客
03-10 941
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 4981
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
论文阅读：Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
温染的笔记
07-20 2460
作者介绍了 SPECULATIVE RAG，一种利用较大、通用 LLM 高效验证由较小、经过提炼的专业 LLM 并行生成的多个 RAG 草案的框架。每个草稿都是从检索到的文件中的一个不同子集生成的，从而为证据提供了不同的视角，同时减少了每个草稿的输入 tokens。这种方法增强了对每个子集的理解，并减轻了 long context 中潜在的立场偏差。该方法将起草工作委托给较小的专家 LM，由较大的通用 LM 对草稿进行一次验证，从而加快了 RAG 的速度。
RAG( Retrieval Augmented Generation)简单实现
06-26
RAG( Retrieval Augmented Generation)简单实现
GraphRAG：知识图谱+大模型
Python_cocola的博客
07-12 3287
结合知识图谱检索和向量检索，利用二者的优势提高搜索结果的准确性和相关性。
Elasticsearch：什么是检索增强生成 - RAG？
Elastic 中国社区官方博客
10-10 7051
RAG 一直在自然语言处理 (NLP) 领域掀起波澜。RAG 的核心是一个混合框架，它集成了检索模型和生成模型，生成的文本不仅上下文准确，而且信息丰富。RAG 在 NLP 中的重要性怎么强调都不为过。传统的语言模型，尤其是早期的语言模型，可以根据训练的数据生成文本，但通常缺乏在生成过程中获取额外的特定信息的能力。RAG 有效地填补了这一空白，在检索模型的广泛功能和生成模型（例如 LLMs）的文本生成过程之间架起了一座桥梁。
深度解读RAG技术发展历程（三）：生成 - Generation、增强 - Augmentation
Code1994的博客
08-29 1070
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
深度解读RAG技术发展历程（一）RAG简介：Naive RAG、Advanced RAG、Modular RAG、RAG/Fing-turning/提示词工程对比
Code1994的博客
08-28 1831
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【项目实训】RAG框架初了解
m0_63711281的博客
05-29 484
介绍RAG结构、langchain、以及langchain与大模型集成的方式
大模型 | 开源RAG框架汇总：什么是RAG？RAG应用框架
m0_56255097的博客
11-18 4226
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
15种典型RAG框架：卡内基梅隆大学最新RAG综述
ytt0523_com的博客
01-02 1084
检索与生成的结合应该是天衣无缝的，但在实际操作中，生成模块有时难以将检索到的信息有效整合进回应中，导致检索事实与生成文本间的不一致或不连贯。结合思维链推理，增强了模型的推理能力。一种以数据为中心的检索增强型生成（RAG）工作流程，超越了传统的检索-阅读模式，采用了准备-重写-检索-阅读框架，通过整合上下文相关、时间关键或特定领域的信息来增强LLMs。FILCO旨在提升生成模型在开放域问答和事实验证等任务中提供的上下文质量，解决对检索段落过度或不足依赖的问题，可能导致生成输出中的幻觉问题。
Coggle数据科学 | 小白学RAG：架构、策略和应用
csdn_xmj的博客
07-13 1259
大型语言模型（LLMs）在语言理解和生成方面展示了革命性的能力，但它们仍然面临着一些固有的局限性，比如幻觉和过时的内部知识。鉴于RAG在提供最新和有帮助的辅助信息方面的强大能力，检索增强型大型语言模型（Retrieval-Augmented Large Language Models, RA-LLMs）应运而生。RA-LLMs利用外部权威知识库，而不仅仅依赖模型的内部知识，来提高LLMs的生成质量。
RAG原理、综述与应用全解析【万字长文】
狮子座明仔知识集散场
04-03 9338
1.1 定义检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。早在2020年就已经有人提及RAG的概念（paper：Retrieval-augmented generation for knowledge-intensive nlp tasks），首版发布在arxiv于2020年5月，当年还是seq2seq的时代，但实验就已经发现，通过检索，能快速从海量知识中找到和原本问题相关的知识，借助知识带来的信息能提
Retrieval Augmented Generation
01-08
### Retrieval Augmented Generation in NLP Models and Applications #### Definition and Concept Retrieval Augmented Generation (RAG) is a method that integrates retrieval-based and generation-based approaches, particularly useful for tasks requiring the reproduction of specific information. This technique leverages content pertinent to solving an input task as context, enabling more accurate knowledge retrieval which subsequently aids in generating better responses through iterative refinement processes [^1]. In addition, RAG significantly reduces model hallucination by grounding generated outputs on factual data retrieved from external sources or databases [^2]. #### General Process The general process of applying RAG within Natural Language Processing (NLP) involves several key steps: - **Contextual Information Collection**: Gathering relevant documents or pieces of text related to the query. - **Knowledge Retrieval**: Using these collected contexts to find precise facts or statements needed for response formulation. - **Response Generation**: Generating coherent answers based on both the original prompt and the retrieved information. This approach ensures that the final output not only addresses user queries accurately but also remains grounded in verified facts rather than potentially unreliable internal representations learned during training [^1]. #### Implementation Example Below demonstrates how one might implement a simple version of this concept using Python code snippets alongside popular libraries like Hugging Face Transformers for natural language understanding and FAISS for efficient similarity search among large document collections. ```python from transformers import pipeline import faiss import numpy as np def create_index(documents): """Creates an index structure suitable for fast nearest neighbor searches.""" embeddings = get_embeddings_for_documents(documents) dimensionality = len(embeddings[0]) # Initialize Faiss Index Flat L2 distance metric index = faiss.IndexFlatL2(dimensionality) # Add vectors into our searchable space index.add(np.array(embeddings).astype('float32')) return index def retrieve_relevant_contexts(query_embedding, index, top_k=5): """Finds most similar items given a query vector against indexed dataset""" distances, indices = index.search(np.array([query_embedding]).astype('float32'), k=top_k) return [(distances[i], idx) for i,idx in enumerate(indices.flatten())] # Assume `get_embeddings` function exists elsewhere... index = create_index(corpus_of_texts) qa_pipeline = pipeline("question-answering") for doc_id, score in retrieve_relevant_contexts(user_query_vector, index): answer = qa_pipeline(question=user_input, context=corpus_of_texts[doc_id]['text']) print(f"Answer found with relevance {score}: ",answer['answer']) ``` --related questions-- 1. What are some common challenges faced when implementing RAG systems? 2. Can you provide examples where RAG has been successfully applied outside traditional QA settings? 3. How does Graph Retrieval-Augmented Generation differ from standard RAG methods described here? 4. In what ways can integrating knowledge graphs enhance performance in RAG frameworks?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值