国防科大：通过三元组建模检测LLM幻觉

📖标题：Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
🌐来源：arXiv, 2409.11283

摘要

🔸LLM表现出色，但会出现幻觉。大多数关于检测幻觉的研究都集中在具有简短而具体的正确答案的问题上，这些问题很容易检查其真实性。对于具有开放式答案的文本生成，幻觉检测更具挑战性。一些研究人员使用外部知识来检测生成文本中的幻觉，但很难获得特定场景的外部资源。最近关于在没有外部资源的情况下检测长文本中幻觉的研究对多个采样输出进行了一致性比较。为了处理长文本，研究人员将长文本拆分为多个事实，并分别比较每对事实的一致性。然而，这些方法（1）很难实现多个事实之间的对齐；（2） 忽略多个上下文事实之间的依赖关系。
🔸本文提出了一种基于图的上下文感知（GCA）幻觉检测方法，用于文本生成，该方法对齐知识事实，并在一致性比较中考虑上下文知识三元组之间的依赖关系。特别是，为了对齐多个事实，我们进行了一个面向三重的响应分割，以提取多个知识三元组。为了模拟上下文知识三元组（事实）之间的依赖关系，我们将上下文三元组构建成图，并通过RGCN的消息传递和聚合来增强三元组的交互。为了避免长文本中遗漏知识三元组，我们通过重建知识三元组进行了基于LLM的反向验证。实验表明，我们的模型增强了幻觉检测，并优于所有基线。

🛎️文章简介

🔸研究问题：如何在没有外部资源的情况下检测长文本中的幻觉？
🔸主要贡献：论文提出了一种基于图的上下文知识三元组建模方法，显著提高了零资源环境下的幻觉检测准确性和全面性。

📝重点思路

🔺相关工作

🔸白盒幻觉检测：通过分析模型的内部状态来识别幻觉，包括 ①基于输出logit的方法测量置信度 ②基于隐藏层激活的方法测量内部表示
🔸使用外部资源进行黑盒幻觉检测：利用外部知识来验证模型生成内容的真实性，包括 ①基于RAG执行实时内容验证 ②使用其他模型生成的响应进行交叉验证
🔸使用零资源的黑盒幻觉检测：获取高质量的外部资源具有挑战性，包括 ①非长文本通过多次采样比较一致性 ②长文本可以通过逻辑推理和思维链评估

🔺论文方案

🔸三元组导向的响应分割：从模型输出的响应中提取知识事实，形成知识三元组。
🔸基于图的上下文一致性比较：构建一个包含提取的知识三元组的图，使用关系图卷积网络（RGCN）在图上执行消息传递和聚合，通过比较多个图形中三元组的一致性来检测原始响应中的幻觉。
🔸通过三元组重构进行反向验证：包含三个重建任务，分别检查LLM是否可以重建知识三元组的头实体、关系和尾实体，实现幻觉检测的反向验证。

🔎分析总结

🔸方法的有效性：通过与四个基线方法的比较，论文的方法在所有评估指标上均优于基线方法，特别是在考虑三元组之间的依赖关系时表现更为出色。
🔸三元组重构的作用：有效地减少正确答案的空间，从而提高检测每个三元组在原始响应中的准确性。
🔸具体案例分析：在长文本响应的幻觉检测中，论文的方法能够全面准确地识别所有事实错误，而其他方法则存在遗漏或误判的情况。

💡个人观点

论文的核心是提取响应的三元组事实，通过考虑三元组之间的依赖关系，提高幻觉检测的准确性和全面性。

附录