本文是LLM系列文章,针对《Benchmarking Hallucination in Large Language Models based on
Unanswerable Math Word Problem》的翻译。
摘要
大型语言模型(LLM)在各种自然语言处理(NLP)任务中是非常有效的。然而,他们很容易在被称为幻觉的模糊环境中产生不可靠的猜测。本文基于无法回答的数学单词问题,提出了一种评估问答中LLM幻觉的新方法。为了支持这种方法,我们创新性地开发了一个名为“无法回答的数学单词问题”(UMWP)的数据集,该数据集包括五类5200个问题。我们开发了一种结合文本相似性和数学表达式检测的评估方法,以确定LLM是否认为问题是无法回答的。对31个LLM(包括GPT-3、InstructGPT、LLaMA和Claude)进行的广泛实验结果表明,上下文学习和强化学习与人类反馈(RLHF)训练显著增强了模型避免幻觉的能力。我们证明,利用MWP是评估幻觉的可靠和有效的方法。我们的代码和数据在https://github.com/Yuki-Asuuna/UMWP上可用。