用通俗易懂的方式讲解：一种全新的大模型检索增强生成方法

最新推荐文章于 2024-09-04 14:31:41 发布
最新推荐文章于 2024-09-04 14:31:41 发布
阅读量1k 收藏 24
点赞数 21
分类专栏： 大模型 文章标签： 人工智能 LLM 大模型 RAG 检索增强生成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/135900614
版权

如何使大型语言模型更加事实、正确和可靠？

检索增强生成（RAG）是一种有效的方法，可以缓解大型语言模型的基本局限性，如幻觉和缺乏最新知识。

然而，如果您曾尝试过RAG，您会同意我所说的RAG易于原型设计，但很难达到理想的水平。

在本文中，我将讨论一篇关于自我RAG的新研究论文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection，该论文提出了一种改进RAG模型性能的新方法。

介绍 Self-RAG：一种新方法

RAG 效率在很大程度上依赖于诸如文本分块方法、嵌入和检索技术等因素。

当不加选择地检索固定数量的段落，或者获取与查询无关的内容时，可能会导致糟糕的响应，并降低 LLM 的多功能性。

在2023年10月，一篇名为“Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection”的新研究论文引入了一种创新框架。这个框架通过教导LLM何时检索来增强其一致性和性能。

实验证明，自我RAG（7B和13B参数）在各种任务上显著优于最先进的LLM（例如ChatGPT和Llama2-chat）以及检索增强模型。

让我们深入探讨吧！

用通俗易懂的方式讲解系列

Self-RAG：教导LLM何时检索

自我反思式检索增强生成（Self-RAG）是一种新方法，它教导LLM在检索、生成和评论中以增强其响应的准确性和质量。

与传统的检索增强生成（RAG）方法相反，Self-RAG 根据需要检索信息，这意味着它可以根据遇到的查询多次检索或根本不检索。

它还从各个角度评估其响应，使用称为“反思标记”的特殊标记。这些标记允许LLM控制其行为，并在推理阶段根据特定任务要求进行定制。

Self-RAG 内部工作原理

Self-RAG 方法的核心思想是通过一种称为“自我反思标记”的东西来教导和控制大型语言模型（LLM）。这个过程发生在推理阶段，即LLM生成响应时。

以下是Self-RAG 的工作方式：

  • 检索：Self-RAG 首先确定将检索到的信息添加到响应是否有帮助。如果是，它会发出一个检索过程的信号，并要求外部检索模块找到相关文档。
  • 生成：如果不需要检索，Self-RAG 会像常规语言模型一样预测响应的下一个部分。如果需要检索，它首先评估检索到的文档是否相关，然后根据所发现的内容生成响应的下一个部分。
  • 评论：如果需要检索，Self-RAG 会检查它检索到的段落是否支持响应。它还评估响应的整体质量。

Self-RAG 的训练过程

Self-RAG 训练了两个模型，评论家和生成器，两者都使用反思标记扩展令牌词汇，并使用标准的下一个令牌预测目标进行训练。

  • 第一步 评论家数据创建：通过提示GPT-4生成反思标记，生成评论家的训练数据。
  • 第二步 评论家训练：在合成数据集上训练评论家模型。
  • 第三步 生成器数据创建：使用评论家和检索器生成生成器的训练数据。
  • 第四步 生成器训练：在RAG数据集上训练生成器，包括特殊标记，以教导模型何时进行检索或不检索。

实际应用：使用 Self-RAG

现在，让我们从理论方面转向 Self-RAG 的实际应用！

以下代码可以在免费的Colab笔记本实例上运行。

使用 Self-RAG 进行推理

Self-RAG 模型在基础模型 Llama-2-7b-hf 上进行了微调，并且可以在Hugging Face上获取。这使得从Hub下载模型并进行测试变得非常简单。

以下是如何使用 Self-RAG 进行推理的方法。

  1. 安装必要的包
!pip install vllm
!pip install torch
!pip install transformers, tokenizer, datasets, peft, bitsandbytes
!pip install accelerate>=0.21.0,<0.23.0  # 0.23.0将在使用deepspeed时导致不正确的学习率调度，可能是由https://github.com/huggingface/accelerate/commit/727d624322c67db66a43c559d8c86414d5ffb537引起的
!pip install peft>=0.4.0
!pip install evaluate>=0.4.0
!pip install tiktoken
  1. 运行推理

我们将使用研究团队推荐的vllm来加速推理。

# 导入必要的库
from vllm import LLM, SamplingParams

# 使用指定的模型和数据类型初始化LLM（大型语言模型）
model = LLM("selfrag/selfrag_llama2_7b", dtype="half")

# 为文本生成定义采样参数
sampling_params = SamplingParams(temperature=0.0, top_p=1.0, max_tokens=100, skip_special_tokens=False)

# 定义一个函数来格式化提示，包括指令和可选的检索段落
def format_prompt(input, paragraph=None):
  prompt = "### Instruction:\n{0}\n\n### Response:\n".format(input)
  if paragraph is not None:
    prompt += "[Retrieval]{0}".format(paragraph)
  return prompt

# 为模型生成响应的两个查询
query_1 = "Leave odd one out: twitter, instagram, whatsapp."
query_2 = "Can you tell me the difference between llamas and alpacas?"
queries = [query_1, query_2]

# 为查询生成响应
preds = model.generate([format_prompt(query) for query in queries], sampling_params)

# 打印每个查询的模型预测
for pred in preds:
  print("\n\nModel prediction: {0}".format(pred.outputs[0].text))

让我们分析一下 Self-RAG 的输出。

我们执行了两个查询，并观察到对于第一个查询，自我RAG直接生成响应，因为不需要检索信息。在第二个查询中，自我RAG显示出[Retrieve]标记，因为问题需要更多的事实信息。

使用您自己的数据运行 Self-RAG

在这里，我们将探讨两种使用您自己的数据与自我RAG进行交互的方法：

直接数据插入：最简单的方法是将您的数据直接插入到format_prompt函数的段落参数中。这样可以让自我RAG直接访问并将您的数据整合到其响应生成过程中。
基于嵌入的检索：对于更复杂的数据或直接插入不可行的情况，您可以为您的数据生成嵌入，并利用检索机制提取自我RAG所需的相关信息。这种方法使自我RAG能够根据查询的上下文选择性地检索和利用您的数据中的信息。
直接数据插入

对于需要外部事实支持的查询，您可以插入一个段落。

自我RAG可以在生成过程中随时检索和插入段落，并在它们被上下文标记特殊令牌所包围时识别它们。

基于嵌入的检索

您可以利用原始研究论文提供的脚本和代码将您自己的数据整合到自我RAG中。该过程包括三个主要步骤：

  1. 数据准备

将您的数据集准备为JSON或JSONL格式。每个实例应包含一个问题或一条指令，这将在检索过程中用作查询。

  1. 嵌入生成

使用GitHub存储库中提供的脚本为您的数据生成嵌入。这将将您的数据转换为数字表示，可以有效地通过检索机制处理。

cd retrieval_lm
CUDA_VISIBLE_DEVICES=0

python generate_passage_embeddings.py --model_name_or_path facebook/contriever-msmarco \
--output_dir [YOUR_OUTPUT_DIR] \
--passages [YOUR_PASSAGE_DATA] \
--shard_id 0 --num_shards 4 > ./log/nohup.my_embeddings 2>&1 &
  1. 运行自我RAG在您自己的数据上

将您生成的嵌入与自我RAG的检索模块结合起来，从您的数据中提取相关信息。然后，自我RAG将利用这些信息生成针对您特定查询的响应。

from passage_retriever import Retriever

retriever = Retriever({})
query = "YOUR_QUERY"
retriever.setup_retriever("facebook/contriever-msmarco", [YOUR_JSON_DATA_FILE], [YOUR_DATA_EMBEDDING], n_docs=5, save_or_load_index=False)
retrieved_documents = retriever.search_document(query, 5)
prompts = [format_prompt(query, doc["title"] +"\n"+ doc["text"]) for doc in retrieved_documents]
preds = model.generate(prompts, sampling_params)
top_doc = retriever.search_document(query, 1)[0]
print("Reference: {0}\nModel prediction: {1}".format(top_doc["title"] + "\n" + top_doc["text"], preds[0].outputs[0].text))

使用 Self-RAG 增强您的RAG流程

或者，您还可以使用Self-RAG方案训练一个新的预训练LLM，例如Mistral-7b。如果您使用hugging face transformers，您可以简单地在训练脚本script_finetune_7b.sh中更改model_name_or_path和tokenizer_name。

export CUDA_VISIBLE_DEVICES=0,1,2,3

MODEL_SIZE=7B
NUM_GPUS=4
BATCH_SIZE_PER_GPU=1
TOTAL_BATCH_SIZE=128
GRADIENT_ACC_STEPS=$(($TOTAL_BATCH_SIZE/$NUM_GPUS/$BATCH_SIZE_PER_GPU))
echo "Training llama model ${MODEL_SIZE} using $NUM_GPUS GPUs, $BATCH_SIZE_PER_GPU batch size per GPU, $GRADIENT_ACC_STEPS gradient accumulation steps"

CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
    --mixed_precision bf16 \
    --num_machines 1 \
    --num_processes $NUM_GPUS \
    --use_deepspeed \
    --deepspeed_config_file stage3_no_offloading_accelerate.conf \
    finetune.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --use_flash_attn \
    --tokenizer_name meta-llama/Llama-2-7b-hf \
    --use_slow_tokenizer \
    --train_file full_output_1005.jsonl \
    --max_seq_length 2048 \
    --preprocessing_num_workers 16 \
    --per_device_train_batch_size $BATCH_SIZE_PER_GPU \
    --gradient_accumulation_steps $GRADIENT_ACC_STEPS \
    --learning_rate 2e-5 \
    --lr_scheduler_type linear \
    --warmup_ratio 0.03 \
    --weight_decay 0. \
    --num_train_epochs 3 \
    --output_dir output/self_rag_${MODEL_SIZE}/ \
    --with_tracking \
    --report_to tensorboard \
    --logging_steps 1 \
    --use_special_tokens

最后思考

RAG可能导致糟糕的响应。在该过程中添加特殊标记可以教导模型何时检索信息以及什么是相关的。

自我RAG是一种改进事实性而不牺牲大型语言模型创造性多样性的有趣方法。它展示了让LLM反思自身局限性并有选择地获取知识的好处。

论文中分享的模型经过了对150,000个实例进行的评论家训练。正如您所想象的那样，这是最具挑战性的任务，因为数据集需要对检索和非检索示例都具有多样性。很酷的是，完整的数据集和代码都在GitHub上完全共享，因此您也可以微调您选择的自定义LLM，例如Mistral-7b。

但是，请记住，训练和维护自我RAG模型需要更多的努力。如果您需要LLM提供高度可靠的响应，例如在金融领域，这可能是一个值得的选择。我也渴望看到关于如何增强RAG和解决LLM局限性的新研究。

参考文献

  1. https://levelup.gitconnected.com/upgrade-your-retrieval-augmented-generation-with-self-rag-bb30b2a0ffa4

  2. https://github.com/AkariAsai/self-rag

机器学习社区
关注
  • 21
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大模型+检索增强（RAG、Atlas 和 REPLUG）
u013250861的博客
11-10 344
检索增强的优势可解释性：大模型的黑箱属性，使得研究者很难以利用大模型对模型运行机理进行分析，而检索增强模型可以直接提取其检索到的文档，从而通过分析检索器所检索出的文章，可以获得对 Atlas 工作更好的理解。
【AI大模型】Prompt 提示词工程使用详解
congge
07-28 8504
Prompt 提示词工程使用详解
探索先进的文本检索模型：Contriever
gitblog_00095的博客
04-26 603
探索先进的文本检索模型：Contriever 项目地址:https://gitcode.com/facebookresearch/contriever Contriever 是Facebook Research推出的一个开源项目，专注于高效、准确的文本检索任务。它采用了一种新颖的跨模态Transformer架构，旨在通过深度学习技术改进传统的信息检索系统。 技术分析 Contriever的核心是一...
大模型进阶应用——检索增强生成
neweastsun的专栏
01-28 1208
RAG可以使用来自外部资源的内容来生成准确的摘要，从而节省大量时间。例如，经理和高级管理人员都是忙碌的人，他们没有时间筛选大量的报告。使用基于RAG的应用程序，他们可以从文本数据中快速获取最关键的发现，并更有效地做出决策，而不必阅读冗长的文档。RAG系统的有效性在很大程度上取决于输入该系统的数据的质量。如果应用程序访问的源内容很差，生成的响应将是不准确的。组织必须提供高质量内容并实践微调过程。对于实际商业应用程序中，在RAG系统中使用数据集之前，非常有必要让业务专家来检查和补充业务空白信息。
大模型系列：OpenAI使用技巧_使用图数据库应用检索增强生成RAG
数智笔记
12-31 1326
然而，提取的实体可能与我们拥有的数据不完全匹配，所以我们将使用GDS余弦相似性函数来返回与用户所询问的实体具有类似关系的产品。如果您的数据中数据点之间的关系很重要，并且您可能希望利用这一点，那么考虑使用图数据库而不是传统的关系数据库可能是值得的。考虑到增加的复杂性，请确保使用知识图谱是您用例的最佳选择。对于这个特定的用例，如果对话方面不太重要，我们实际上可以创建一个函数，该函数将调用我们之前定义的任务并提供一个答案。为此，我们将指示我们的模型在用户提示中找到相关的实体，这些实体可以用于查询我们的数据库。
『大模型笔记』LLMs入门：不涉及太多数学和术语的LLMs基本原理通俗讲解
AI新视界
04-04 284
LLM入门：不涉及太多数学和术语的LLM基本原理通俗讲解 介绍了大型语言模型的工作原理，并说明它们是如何发展的。他们还讨论了 LLMs 在处理自然语言时的一些挑战和优势，并突出了它们对人类社会认知的重要性。
通俗易懂理解RDD看这一篇就够了
SunnyRivers
05-04 2766
今天面试一个大数据开发工程师，spark相关的知识感觉都能懂一点，但是连基础的RDD稍微一问深一点就不知所云，这种情况基本上是无法通过面试的，今天想用通俗的话把RDD说明白。弹性分布式数据集）是Spark中最基本的数据抽象，代表不可变、可分区、可并行计算的集合。RDD允许将计算结构缓存到内存中，这样当后续计算需要这些数据时，就能快速从内存中加载它们，这样不但提高数据的复用性，还提高了数据的计算效率。RDD主要特点包括并行计算自动容错数据本地性调用等。
大语言模型应用指南：机器学习的过程
程序员光剑
06-27 242
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
大规模语言模型从理论到实践 推理规划
AGI通用人工智能之禅
06-07 59
近年来，随着算力的提升和训练数据的不断增长，大规模语言模型(Large Language Models, LLMs)取得了令人瞩目的进展。这些模型不仅在自然语言处理任务上表现优异，而且展现出惊人的推理、规划和问题解决能力。本文将深入探讨LLMs在推理规划方面的理论基础、核心算法、实际应用以及未来发展趋势。LLMs在推理规划领域虽然取得了重大进展，但仍然面临诸多挑战：常识推理：尽管LLMs展现出惊人的常识理解能力，但在复杂的现实场景中，它们仍然难以企及人类的水平。
开卷翻到毒蘑菇？浅谈大模型检索增强（RAG）的鲁棒性
Paper weekly
11-25 1164
©PaperWeekly 原创 ·作者 |陈思硕单位 |北京大学研究方向 |自然语言处理很久没有写论文 notes 了，近期因为参与对检索增强生成（Retrieval-Augmented Generation, RAG）范式鲁棒性的研究，注意到了近两个月来社区中涌现了一小批关于这个话题的工作，简单梳理以飨读者。何为检索增强：模型可以开卷考纯参数化的大语言模型将其在海量语料上学习到的世界知识...
太强了！最全的大模型检索增强生成（RAG）技术概览！
机器学习社区
03-10 5807
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
人工智能 | ShowMeAI资讯日报 #2022.06.09
热门推荐
ShowMeAI研究中心
06-09 1万+
ShowMeAI资讯日报 2022-06-09 期，AI领域【工具&框架】【项目&代码】【博文&分享】【数据&资源】【研究&论文】最新动态关键词：AI写作助手工具库、数据可视化、3D医学图像分割、算法学习、Go语言、学习路线图…点击阅读全文......
机器学习（深度学习）为什么需要训练，训练出来的模型具体又是什么？
weixin_30549657的博客
08-28 3195
很多新手在初学机器学习/深度学习中，会产生这样的疑问？为什么要训练模型，模型是什么，如何训练...... 本人刚开始接触时也产生过类似地疑问，现在为大家排解这些疑问。 1、机器学习中大概有如下步骤： 确定模型----训练模型----使用模型。 模型简单说可以理解为函数。 确定模型是说自己认为这些数据的特征符合哪个函数。 训练模型就是用已有的数据，通过一些方法（最优化或者其他方...
如何开发主播美颜工具？直播美颜SDK的实现方案
q1031691172的博客
09-04 824
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 1326
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
智能化升级：AI在客服知识库中的应用
LookLook同学的博客
09-03 1644
探讨AI在客服知识库中的应用，提升效率与用户体验。
Transformer
最新发布
m0_65325092的博客
09-04 502
是谷歌2017年发表在NeurlIPS上的文章中提出的模型。模型仅基于注意力机制，能够有效捕捉输入序列中的长距离依赖关系，完全不涉及循环和卷积，解决了传统的序列到序列(Seq2Seq)模型处理可变长序列时存在的问题(RNN处理长序列时易出现梯度消失或爆炸，不能并行计算，难以捕捉长距离依赖关系。CNN卷积操作的输入需要具有固定尺寸，处理可变长序列时为使序列长度相同需要填充短序列因而效率较低)。实验表明其在质量上更优越，更易于并行化，训练时间也大大减少。
Azure和Transformers的详细解释
全栈工程师
09-03 1228
Transformers 通过引入注意力机制，以并行化和捕捉长距离依赖的优势克服了传统序列模型的局限，迅速成为自然语言处理领域的主流选择。通过不断的迭代和创新，Transformers 在文本、图像、音频等多模态处理任务中展现出巨大的潜力和应用前景。
"通俗易懂：YOLO系列（V1到V5）模型解读！
我不会使用专业术语和晦涩表达，而是会尽量通俗地解释每一个新的概念，希望使读者能够像看故事一样学习YOLO模型。 YOLO系列模型是一种用于目标检测的算法，目的是在一张图片中识别出感兴趣的物体，如狗、汽车等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值