【Article】Detecting hallucinations in large language models using semantic entropy

【Nature Article】Detecting hallucinations in large language models using semantic entropy

论文记录。翻译不准确，以原文为准。代码解析敬请期待。

1. Abstract

大型语言模型(LLM)系统，如ChatGPT或Gemini?，可以表现出令人印象深刻的推理和回答问题的能力，但经常会产生“幻觉”的错误输出和未经证实的答案。不可靠的回答或没有必要的信息阻碍了在不同领域的采用，问题包括在新闻文章中捏造法律先例或不真实的事实，甚至对放射学等医学领域的人类生命构成威胁。通过监督或强化鼓励诚实只取得了部分成功。研究人员需要一种检测法学硕士幻觉的通用方法，这种方法甚至适用于人类可能不知道答案的新问题和未知问题。在这里，我们开发了基于统计学的新方法，为法学硕士提出了基于熵的不确定性估计器，以检测幻觉的子集-虚构-这是任意和不正确的世代。我们的方法解决了这样一个事实，即一个想法可以通过计算意义层面的不确定性而不是特定的单词序列来以多种方式表达。我们的方法可以跨数据集和任务工作，而不需要任务的先验知识，不需要特定于任务的数据，并且可以健壮地推广到以前未见过的新任务。通过检测提示何时可能产生错误，我们的方法可以帮助用户了解何时必须格外小心使用llm，