【论文阅读】RAFT: Adapting Language Model to Domain Specific RAG

Yanc_L

已于 2024-07-02 23:26:04 修改

阅读量662

点赞数 5

文章标签：语言模型人工智能自然语言处理

于 2024-07-02 21:25:27 首次发布

本文链接：https://blog.csdn.net/qq_41502855/article/details/140087671

版权

这篇论文主要是研究如何提升RAG中pre-trained LLM在垂域知识中的开卷考试的能力，提出了一种名为“RAFT”的训练范式。RAG的一个挑战在于，检索内容中同时包含golden document（正确的文档）和distractor documents（相关但非正确的混淆文档）时，大模型可能会从distractor document中抽取出错误回答。RAFT通过构造COT类型的QA对数据集来微调模型，从而提升大模型的推理能力。通过使用RAFT的微调方法，在PubMed, HotpotQA,Gorilla数据集上，垂域RAG的能力均有所提升。

原文地址：https://arxiv.org/abs/2403.10131

LLM回答 vs RAG vs RAFT

LLM回答：闭卷考试

RAG：没有学习，直接开卷考试

RAFT：教会模型如何思考，再开卷考试

RAFT vs DSF vs RAG

标准RAG中LLM训练仅使用golden doc，而RAFT的训练会使用负样本+正样本进行训练。

RAFT方法在各个垂域数据集上都提升了RAG的能力，并且，在llama-7B上进行RAFT微调能达到超越GPT-3.5+RAG的效果，这是很惊人的提升。

论文给了一个具体的HotPot QA case对比RAFT和DSF

COT prompt vs w.o COT prompt

COT消融实验，证实了COT在RAFT中，显著提升了模型的表现

all golden documents vs keep P% data with golden document

模型训练时，P%的训练数据由golden documents和distractor documents构成，而（1-P%）的数据中剔除了golden documents，下图中的D🌟为golden doc，而D为distractor dic。

(这里我比较疑惑，从直觉上来说，保留正确文档让模型推理出正确结果，剔除正确文档让模型拒答是一个比较合理的做法，为什么要强制模型去记住答案而不是推断答案)

实验结果也证实了该猜想，最佳P值随数据集而变化，分别是40%，60%，100%。

only golden doc robust or mixed doc robust

文章最后一个实验探讨了RAFT的鲁棒性问题。在运行态，RAG的性能可能会随着TOP-K中distracotr文档的增加而降低。实验的设置是通过对比只用golden doc微调的模型和golden doc+distractor doc微调的模型，在top-k变化时，模型的表现是否稳定。如上图所示，模型完全在golden文档上微调，和在混合不同数量的distractor文档上微调后的表现随着Top-K的变化。显然mixed doc的训练更具有鲁棒性，但最佳mixed doc的数量在不同类型的数据集上不同。