Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models

本文是LLM系列文章，针对《Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models》的翻译。

摘要

大型语言模型中的幻觉是指大型语言模型产生连贯但事实上不准确的反应的现象。这一问题破坏了LLM在实际应用中的有效性，因此需要研究检测和减轻LLM的幻觉。先前的研究主要集中在幻觉检测的后处理技术上，由于与LLM的推理过程分离，这些技术往往计算密集，有效性有限。为了克服这些限制，我们引入了MIND，这是一种无监督的训练框架，它利用LLM的内部状态进行实时幻觉检测，而不需要手动注释。此外，我们还介绍了HELM，这是一种评估多个LLM幻觉检测的新基准，具有不同的LLM输出和LLM在推理过程中的内部状态。我们的实验表明，MIND在幻觉检测方面优于现有的最先进的方法。

1 引言

2 问题定义

3 方法

4 HELM基准

5 实验设置

6 实验结果

7 相关工作

8 结论和未来工作

在本文中，我们介绍了MIND，这是一种新的无监督方法，利用大型语言模型（LLM）的内部状态进行实时幻觉检测。此外，我们提出了HELM，这是一种幻觉检测的综合基准，它结合了六种不同LLM的输出及其在文本生成过程中的