上海交大：LLM基于隐藏状态实现自我评估

📖标题：Latent Space Chain-of-Embedding Enables Output-free LLM Self-Evaluation
🌐来源：arXiv, 2410.13640

摘要

🔸LLM自我评估依赖于LLM自身估计响应正确性的能力，这可以大大提高其部署可靠性。
🔸在这项研究中，我们提出了潜在空间中的嵌入链（CoE），使LLM能够进行无输出的自我评估。CoE由推理过程中产生的所有渐进隐藏状态组成，可以视为LLM的潜在思维路径。我们发现，当LLM正确和错误地响应时，它们的CoE特征不同，这些差异有助于我们估计LLM响应的正确性。
🔸在四个不同领域和七个LLM中的实验充分证明了我们方法的有效性。同时，其无需任何训练的无标签设计意图和毫秒级的计算成本确保了大规模场景中的实时反馈。更重要的是，我们从LLM内部隐藏状态变化的角度对LLM响应正确性提供了有趣的见解。代码见https://github.com/Alsace08/Chain-of-Embedding

🛎️文章简介

🔸研究问题：在没有外部标签的情况下，如何通过LLM自身的功能进行自我评估，以提高模型的可靠性和安全性？
🔸主要贡献：论文提出了一个名为CoE的潜在空间嵌入链方法，用于无输出标签的LLM自我评估，并通过实验验证了其有效性和鲁棒性。

📝重点思路

🔺相关工作

🔸深度神经网络中的不确定性估计及其在LLM的变体与本文密切相关，我们将它们归类为白盒方法。
🔸不访问内部状态的两种典型范式被归类为黑盒方法。
🔸白盒和黑盒研究轨迹通常是相互正交的，都强调“无标签”条件。

🔺论文方案

🔸定义潜在空间嵌入链（CoE）：通过连接句子隐藏状态形成的潜在空间中的嵌入链。
🔸量化CoE特征：通过分段线性插值在潜在空间中创建连续的CoE轨迹，并测量其几何信息（如幅度和角度）以反映轨迹特征。
🔸提出CoE评分方法：两种CoE评分方法，分别为CoE-R（实空间组合）和CoE-C（复空间组合），用于检测LLM响应的正确性。
🔸实验设置：在四个不同领域（数学、推理、知识和理解）的数据集上进行实验，将正确和错误的样本分为两组，分别对应不同的特征集。

🔎分析总结

🔸CoE方法的有效性：通过组件消融研究，发现CoE评分中的两个组件（幅度和角度）在大多数情况下对组合指标有积极影响，且CoE-C在面对异常时表现出更高的鲁棒性。
🔸任务难度对CoE性能的影响：低难度任务CoE表现略优，高难度任务CoE显著优于其他基线，表明CoE在复杂任务中更具区分性。
🔸CoE的可靠性和稳定性：CoE方法在实际应用场景中表现出较高的稳定性和可靠性，适用于大规模评估需求。

💡个人观点

论文的核心是通过潜在空间捕捉LLM内部状态的变化，从而在不依赖外部标签的情况下评估响应的正确性。

附录