阿里：LLM的层级相关传播检测RAG幻觉

📖标题：LRP4RAG: Detecting Hallucinations in Retrieval-Augmented Generation via Layer-wise Relevance Propagation
🌐来源：arXiv, 2408.15533

摘要

🔸检索增强生成（RAG）已成为减轻大型语言模型（LLM）中幻觉的主要技术。然而，不完整的知识提取和不充分的理解仍然会误导LLM产生不相关甚至矛盾的反应，这意味着幻觉在RAG中持续存在。
🔸在本文中，我们提出了LRP4RAG，这是一种基于分层相关传播（LRP）算法的方法，用于检测RAG中的幻觉。具体来说，我们首先利用LRP来计算RAG生成器的输入和输出之间的相关性。然后，我们对相关性矩阵进行进一步的提取和重采样。处理后的相关性数据被输入到多个分类器中，以确定输出是否包含幻觉。
🔸据我们所知，这是LRP首次用于检测RAG幻觉，大量实验表明LRP4RAG优于现有基线。我们的代码和数据集存放在https://github.com/Tomsawyerhu/LRP4RAG.

🛎️文章简介

🔸研究问题：在检索增强生成（RAG）过程中，大语言模型（LLM）依旧会产生幻觉。
🔸主要贡献：论文提出了LRP4RAG方法，通过层级相关传播（LRP）技术来检测RAG中的幻觉，并在实验中展示了其优于现有基线方法的性能。

📝重点思路

🔺相关工作

🔸LLM幻觉：①输入冲突幻觉，偏离用户输入 ②上下文冲突幻觉，没有对上下文的了解或在对话过程中无法保持一致性 ③事实幻觉，与既定世界知识相矛盾。
🔸幻觉检测：检测特定自然语言生成任务中的幻觉，如机器翻译、对话生成和问答，包括基于扰动的方法、基于不确定性估计的方法和基于LLM内部状态的方法。
🔸RAG：从外部知识库检索相关文档块来增强LLM，虽然有效地减少了幻觉，但上下文不足、文档排名问题和模型不适配长上下文信息，都会导致RAG输出质量下降而产生幻觉。

🔺论文方案

🔸主要思想：给定检索到的上下文C、问题Q和提示T，生成器得到答案A，利用(C,Q,T)和A的相关性检测幻觉。
🔸层级相关传播（LRP）：使用LRP算法进行相关性分析，从语言模型的输出概率分布反向传播到输入，得到相关性矩阵。
🔸相关性重采样：由于RAG生成器的输入和输出长度不同，采用均值重采样方法对相关性向量进行归一化，以保持固定长度并最小化原始信息的损失。
🔸分类器训练：使用支持向量机（SVM）和长短期记忆网络（LSTM）结合的分类器，对重采样后的相关性矩阵进行幻觉检测训练。
🔸模型评估：在RAGTruth上进行实验，该数据集包含人工标注的RAG样本，提供了幻觉样本和正常样本的对比。

🔎分析总结

🔸相关性差异：RAG幻觉样本的相关性较低，响应标记比提示标记更适合用于幻觉检测，因为提示包含更多噪声。
🔸模型大小：对于一般LLM的幻觉检测，仅考虑响应标记就足够有效，但规模较大的LLM的相关性分布会变化导致更难检测，提示标记更适合幻觉检测。
🔸性能分析：LRP4RAG在准确性和精确度上表现优于其他基线方法，尽管召回率有所下降，但仍比直接微调LLMs的结果高出约20%。

💡个人观点

论文的核心是通过层级相关传播，计算输入到输出的令牌相关性来检测幻觉。

附录