LLM推理优化：Temperature Scaling怎么做

写在前面

Temperature Scaling (温度缩放) 是一种简单、高效且广泛应用的**后处理（post-hoc）**校准技术，它能在不改变模型预测结果（即哪个答案概率最高）的前提下，调整模型输出的概率分布，使其置信度更好地反映其实际的准确率。

本文将深入探讨 Temperature Scaling 的设计原理、实现方法。

1. LLM 的错误校准

什么是校准 (Calibration)？

一个完美校准的模型，其输出的置信度（概率）应该直接反映其预测的真实准确率。例如，如果模型对 100 个不同的预测给出了 80% 的置信度，那么我们期望其中大约 80 个预测是正确的。

现代 LLM 为何常常错误校准？

1. 模型容量与过拟合: 现代 LLM 参数量巨大，容量极高。在训练过程中，它们可能在训练数据上过拟合，不仅学习了正确的模式，也记住了数据中的噪声，导致对训练分布内的样本过于自信。
2. 训练目标: 标准的交叉熵损失函数旨在最大化正确类别的概率，它并不直接惩罚模型的校准错误。为了最小化损失，模型可能会倾