【LLM之RAG】Self-RAG论文阅读笔记

最新推荐文章于 2024-06-17 15:30:28 发布
最新推荐文章于 2024-06-17 15:30:28 发布
阅读量831 收藏 19
点赞数 15
分类专栏： LLM 文章标签： 论文阅读 笔记 LLM RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33455447/article/details/139647174
版权

研究背景

尽管大型语言模型（LLM）展示出了显著的能力，但它们在生成回答时经常包含事实错误，因为它们仅依赖于封装在模型中的参数知识。增强型检索生成（Retrieval-Augmented Generation, RAG）是一种方法，通过检索相关知识来减少此类问题。然而，无论是否需要检索，或检索的段落是否相关，不加选择地检索和整合固定数量的检索段落会降低语言模型的多功能性，或可能导致生成无用的回答。​

研究目标

介绍了自反式增强型检索生成（Self-Reflective Retrieval-Augmented Generation, SELF-RAG）框架，旨在通过检索和自我反思提高语言模型的质量和事实性，训练一个可以根据需求适应性检索段落的模型，并通过生成特殊的反思标记来反思检索到的段落及其自身的生成内容。

相关工作

传统的RAG方法可能会妨碍LLM的多功能性或引入不必要或偏题的段落，导致生成质量低下。此外，输出并不保证与检索到的相关段落一致，因为这些模型并未明确训练以利用并遵循提供的段落中的事实。

方法论

数据处理

四种反思tokens的类型:
在这里插入图片描述
Retrieve：这是一个决策过程，它决定了是否从某个资源 R 中检索信息。
IsREL：这是一个相关性检查，目的是确定给定的数据 d 是否包含解决问题 x 所需的相关信息。
IsSUP：这是一个验证过程，用于检查提供的响应 y 中的声明是否得到了数据 d 的支持。
IsUSE：这是一个评估过程，旨在评估给定的响应 y 对于问题 x 有多么有用。输出是一个从1到5的评分，5分代表最有用。

数据样例如下：
在这里插入图片描述
这个框架主要需要训练2个模型，一个评判家模型（critic model），一个生成模型（generator model）。

解决方案

SELF-RAG首先会判断通过检索段落来增强生成会有帮助。如果是，它输出一个检索标记，按需调用检索模型（步骤1）。然后，SELF-RAG同时处理多个检索到的段落，评估它们的相关性，然后生成相应的任务输出（步骤2）。接着，它依据事实性和总体质量生成批评标记以批评其自身的输出并选择最佳输出（步骤3）。
在这里插入图片描述

实验

实验设计

实验设计包括使用7B和13B参数的SELF-RAG模型，在多样化的任务集上进行测试，以展示其在开放领域问答、推理和事实验证任务上的表现。像事实验证和多项选择推理等闭集任务，使用准确性作为评估指标。对于开放域问答这样简短的生成任务，作者使用groundtruth答案是否包含在模型生成中来进行评估，而不是严格要求精确匹配。
对于传记生成和长格式QA等长文本生成任务，作者使用FactScore（https://github.com/shmsw25/FActScore）来评估传记——基本上是对生成的各种信息及其事实正确性的衡量。对于长格式QA，使用了引用精度和召回率。

实验结论

ELF-RAG在所有测试任务中显著优于现有的最先进的LLM和增强型检索模型。特别是在提高长文本生成的事实性和引用准确性方面，与其他模型相比，显示出显著的优势。
在这里插入图片描述

参考资料

六神就是我
关注
  • 15
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 RAG 和 LLM 与您的数据库对话
iCloudEnd的博客
10-13 497
检索增强生成 (RAG) 涉及从外部数据库获取当前或上下文相关信息，并在请求大型语言模型 (LLM) 生成响应时将其呈现给大型语言模型 (LLM) 的过程。这种方法有效地解决了生成不正确或误导性信息的问题。您能够存储专有业务数据或全局知识，并使您的应用程序能够在响应生成阶段为 LLM 检索此数据。
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍
人工智能曾小健
09-21 5489
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。
LLM RAG系列，一文详解RAG，看完这篇你必会（文末福利）
最新发布
DEVELOPERAA的博客
06-17 1475
本文介绍了RAG以及RAG pipeline的整个流程，包括请求转换、路由和请求构造、索引和检索、生成和评估等，其中引用了大量有价值的论文。
LLM之RAG理论（二）| RAG综述论文详解
wshzd的博客
12-24 2580
论文地址：https://arxiv.org/pdf/2312.10997.pdf 大型语言模型（LLMs）展示了强大的能力，但在实际应用中仍面临挑战，如幻觉现象、知识更新缓慢，以及在回答中缺乏透明度。检索增强生成（RAG）指的是在使用LLMs回答问题之前，从外部知识库中检索相关信息。RAG已被证明能显著提高答案的准确性，减少模型的幻觉现象，特别是对于知识密集型任务。通过引用来源，用户可以验证答案的准确性，并增加对模型输出的信任。它还促进了知识更新和特定领域知识的引入。RAG有效地结合
LLM RAG 多种方式装载LLM的实践
weixin_43990004的博客
01-22 904
基于行业SOP、行业标准、互联网实时信息等领域外部知识构建私域知识向量模型，设计RAG系统用于多文档、多源数据、多维数据的检索器，设计优化双编码、联合编码等方法的信息生成器，使得生成组件能够更深入地理解问题背后的上下文，并产生更加信息丰富的回答。结果分析：对于文档内存在的表格，目前简单的检索链和问答链无法给出精准的回答，分析原因应该是表格数据的检索还是需要使用CSV文件的嵌入以及CSV-chain才能获取精准的答案。将某企业的数据治理方向的一些文档做成私有知识库，基于私有知识库回答数据治理方面的问题。
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
wshzd的博客
01-16 1734
它是为处理高维矢量数据而定制的，就像Llama-2等语言模型生成的数据一样。在这个片段中，我们从llama-2包中导入LlamaModel，并使用特定的模型变体（例如“llama2-large”）对其进行初始化，该模型将用于文本生成和矢量化。Hugging Face的transformer库是使用Llama-2等模型的基石，它为自然语言处理任务提供了对预先训练的模型和实用程序的轻松访问。RAG Pipeline的核心是一个函数，它接受用户查询，从数据库中检索相关上下文，并基于查询和检索到的上下文生成响应。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
在本项目中，我们将深入探讨如何在Windows操作系统上利用TensorRT-LLM（Longformer Language Model）技术部署RAG（Retrieval-Augmented Generation）聊天机器人。RAG是一种先进的自然语言处理模型，它结合了检索式和...
Self-Play Fine-Tuning (SPIN)的实现
02-13
论文“Self-Play Finetuning Converts Weak Language Models to Strong Language Models”的官方实现代码 SPIN 利用自玩机制，允许 LLM 通过与以前的迭代进行博弈来改进自己，而不需要比 SFT 数据集本身更多的人工...
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip 算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-...
大模型LLM，RAG实战.zip
03-14
标题中的“大模型LLM，RAG实战”指的是在自然语言处理领域中，大型语言模型（Large Language Models, LLM）的应用，特别是Relevance-Aware Generation（RAG）模型的实际操作。RAG是一种结合了检索式和生成式模型优势...
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG源码+项目说明.zip
06-08
Chat with RTX是一款演示应用程序，可以让您个性化连接到您自己的内容（文档、笔记、视频或其他数据）的GPT大型语言模型（LLM）。利用检索增强生成（RAG）、TensorRTLLM和RTX加速，您可以查询自定义聊天机器人，以...
源码设计RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG源码+项目说明.zip
06-13
"Chat with RTX是一款演示应用程序，可以让您个性化连接到您自己的内容（文档、笔记、视频或其他数据）的GPT大型语言模型（LLM）。利用检索增强生成（RAG）、TensorRTLLM和RTX加速，您可以查询自定义聊天机器人，以...
【4月组队学习-llm-universe笔记】 0基础小白 RAG应用开发实践笔记
05-22
附LangChain自定义Embedding封装讲解
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
LLM之RAG理论（六）| 高级RAG指南和技巧
wshzd的博客
01-22 1053
在基本的RAG场景中，大致有如下步骤：首先将文本划分为多个块，使用Transformer Encoder模型将这些块嵌入到向量中，将这些向量存储到向量数据库并建立索引，查询会检索向量数据库中相关的上下文，这些上下文和查询一起生成最终的LLM提示，并引导LLM合成响应。基本RAG需要从外部知识数据库中获取文档，然后，将这些文档与用户的查询一起被传输到LLM，用于生成响应。最基本、最简单的RAG系统有时候会检索不到相关的上下文，因此需要一些更高级的方法来增强RAG系统，比如：查询转换、重排序等。
RAG(检索增强生成)在LLM(大型语言模型)中的应用
fudaihb的博客
01-24 2306
在当今信息时代，大型语言模型（LLM）的崛起标志着自然语言处理领域的一次重大进步。这些模型不仅是深度学习的杰出代表，而且在多个领域中取得了显著的成功。本文将聚焦于检索增强生成（RAG）技术在大型语言模型中的应用，深入探讨其原理、应用以及与传统生成模型的差异
LLM与RAG的初识-1
m0_53374676的博客
02-23 1113
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了信息检索和文本生成技术的自然语言处理（NLP）方法。这种方法利用大型语言模型（LLM）的生成能力，并结合了检索系统从大量数据中检索相关信息的能力。RAG的目标是生成既准确又具有信息量的文本，同时确保生成的文本与给定的查询或任务紧密相关。通过检索与输入查询最相关的信息片段，然后使用这些片段来指导、优化和丰富生成过程，RAG提高了生成文本的准确性和相关性。
prompt+rag
11-17
根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。 下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值