人大：LLM内部一致性和自我反馈综述

📖标题：Internal Consistency and Self-Feedback in Large Language Models: A Survey
🌐来源：arXiv, 2407.14507

🛎️文章简介

论文从大语言模型（LLM）表现出的推理缺陷或生成幻觉内容，提出了内部一致性的理论框架，并从自我反馈的角度来分析如何增强内部一致性，最后总结了相关的评估基准和探索方向。

📝重点思路

🔺背景问题

🔸现状：当前的模型难以产生一致的响应，面对分布外问题时表现出不合逻辑的推理，并且在对自身能力边界认识不足的情况下表现出过度的自信。
🔸分析：三个维度反映内部一致性 ①表面层体现出对相同的查询产生不一致的响应 ②中间层是由于解码过程中的随机采样 ③内部层是潜在状态下的特定注意头与回答忠实度相关性。
🔸缓解：扩大模型规模是最直接的方法，但没有从根本解决问题，模仿人类思维过程让模型自我评估是提高一致性的思路。

🔺内部一致性

🔸按照三个维度定义：响应一致性，解码一致性，潜在一致性
🔸实证研究：即使LLM知道正确答案，直接反应是不一致的，意味着许多反应可能是随机的。
🔸根源分析：模型架构、训练过程、用户查询都会导致内部一致性较低，表现在中间实体的信号强度较弱、增强信号强度没有改善和推理时的雪球效应等。
🔸理解视角：重点关注模型在表达过程中是否能够与自身保持一致，涉及真实性、概率校准、自我认知、可解释性和不欺骗。

🔺自我反馈

🔸两个维度定义：①狭义上是通过自身反馈来提高一致性 ②广义上是通过模型间的辩论来提高能力。
🔸两个分类视角：①根据自我反馈的组成部分分类 ②根据任务，QA推理能力弱和开放式生成幻觉，文章按照这个维度。
🔸一致性信号：不确定性估计，置信度估计，幻觉检测，文本批评，对比优化，外部反馈。

🔺优化方式

🔸推理角度：拓扑推理，对响应进行精炼，多智能体协作
🔸幻觉角度：迭代地完善响应，生成时减轻幻觉（矛盾消除），真实解码（概率校准），真实激活（注意力头）
🔸其他角度：偏好学习，知识蒸馏

🔺探索方向

🔸相互矛盾的观点是否就是错的？
🔸自我反馈是否真的能提高内部一致性？
🔸内部一致性是否意味着正确性？

附录