模型幻觉之内在幻觉和外在幻觉

模型幻觉概述

模型幻觉指的是大型语言模型（LLMs）生成的内容与客观事实不符或者缺乏合理逻辑依据的现象。这是当前大模型应用中面临的一个关键问题，会严重影响模型输出的可信度和实用性。例如在问答系统中，模型可能会给出不存在的事件细节或者错误的知识信息。

内在幻觉

定义

内在幻觉是指模型在生成内容时，由于自身知识理解和推理的局限，产生与已知事实冲突或者在语义逻辑上不合理的表述，不涉及外部知识检索。这种幻觉源于模型内部的参数和训练方式，使得它在处理输入时无法准确地表达真实信息。

产生原因

• 训练数据局限性：如果训练数据存在错误、不完整或者偏差，模型可能会学习到错误的知识，从而在生成时产生内在幻觉。例如训练数据中对某个历史事件的描述有误，模型就可能在后续回答相关问题时输出错误内容。
• 模型结构和能力限制：模型的架构和规模可能无法完全捕捉到复杂的语义和逻辑关系。例如在处理长文本推理或者多步逻辑问题时，模型可能会出现推理错误，导致内在幻觉的产生。
  示例
  在医学领域，模型可能会错误地给出某种疾病的治疗方法，而这种方法在实际医学中并不存在或者未被验证。

外在幻觉

定义