语言模型的校准技术：增强概率评估

​

使用 DALLE-3 模型生成的图像

目录

一、说明

二、为什么校准对 LLM 模型至关重要

三、校准 LLM 概率的挑战

四、LLM 的高级校准方法

4.1 语言置信度

4.2 增强语言自信的先进技术

4.3 基于自一致性的置信度

4.4 基于 Logit 的方法

五、代理模型或微调方法

5.1 使用代理模型进行置信度评估

5.2 识别不确定性：R-tuning

5.3 LITCAB：小改变，大影响

5.4 ASPIRE：更智能的模型响应

六、结论

---

一、说明

        语言模型，尤其是大型语言模型 （LLM），凭借其理解和生成类人语言的能力，彻底改变了人工智能领域。这些模型不仅能够在零样本设置下或通过定制提示执行各种任务，而且它们的灵活性和多样性也使它们在多个领域中非常有用。