SMU：通过置信度提高LLM响应一致性

📖标题：Aligning Large Language Models for Faithful Integrity Against Opposing Argument
🌐来源：arXiv, 2501.01336

🌟摘要

🔸大型语言模型（LLM）在复杂的推理任务中表现出了令人印象深刻的能力。然而，即使他们最初的陈述是正确的，他们在谈话中也很容易被不忠的论点误导。为此，我们研究了在LLM中保持诚信的问题。这涉及确保法学硕士在面对相反的论点时坚持其忠实的陈述，并在提出忠实的论点时能够纠正其不正确的陈述。
🔸在这项工作中，我们提出了一个新的框架，名为“可信完整性与置信度估计对齐”（AFICE），旨在将LLM响应与可信完整性对齐。具体来说，AFICE首先设计了一种双边置信度估计（BCE）方法，用于估计给定特定上下文的LLM生成的每个响应的不确定性，该方法同时根据解码过程中的内部状态估计模型对问题的置信度，并根据累积概率比估计模型对答案的置信度。使用BCE，我们构建了一个由上下文、原始语句和论证组成的会话偏好数据集，该数据集用于使用直接偏好优化（DPO）来对齐LLM以实现忠实的完整性。
🔸在各种基准上的广泛实验结果表明，LLM在遇到相反论点时保持忠实反应的能力有了显著提高，确保