On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Sa

On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency

原论文地址：
https://aclanthology.org/2022.acl-long.368.pdf
参考文章：
https://zhuanlan.zhihu.com/p/323959089
https://arxiv.org/abs/1706.04599
https://arxiv.org/pdf/2001.10528.pdf

背景须知

1 什么是overconfidence？为什么要做Calibration？什么是miscalibration？

如图上图所示：
做图片分类任务模型对测试集的平均置信度高达80%-85%，
然而只有将近70%的图片能被正确分对（红色代表分错，绿色代表分对）。这意味着啥？训练好的模
型好像有点盲目自信，即出现 overconfidence 现象，或者可以称为模型的准确率和置信度不匹配（miscalibration）
那么有没有办法让模型的softmax输出能真实的反映决策的置信度呢？ 这个问题，就被称为Calibration，这里所谓的模型置信度是指模型最后面的softmax的输出

2 Calibration常用指标—Expected Calibration Error（ECE）

再盗用一张图哈哈

上面图中的根据置信度是指根据softmax输出的最大的那个概率来进行区间划分，它的计算方法如下：

说白了就是计算以confidence为x轴，accuracy为y轴，然后下面的红色Gap区域的平均高度：

---

1 论文Motivation

我的理解是这个，直接截图原论文的话：

就是说做Natural Language Understanding（NLU）领域的model calibration

2 论文work

就是说使用mixup的方法来进行model calibration

方法介绍

2.1 Mixup方法

这里解释一下公式1的意思，这里面的x都可以理解为经过了embedding之后的一个向量，所以直接把公式1理解为一个向量的加减乘运算就行了

2.2 步骤一 数据分类

通过上面的算法1能将training数据分类为Dhigh和Dlow，其中Dhigh表示的是容易学习的数据，Dlow是难学习的数据

AUM（The Area Under The Margin）算法解释

该算法分两步计算，如下步骤一：

上面的t表示的是每个training的epoch，然后前面的zy是表示x所对应的正确标签位置的logit层输出值，后面那一项表示的是除了前面那一项之外最大的一项，所以对于一个越好的样本来说，应该是前面的一项越大越好，后面那一项越小越好的。
步骤二：

每一个epoch都能计算出一个值，之后所有epoch取平均值

logit层

所谓logit层，就是指model里面输入到softmax层之前的那一层，softmax的数据就是来源于logit层的输出

2.3 在分类基础上使用Mixup方法

上面的公式4和公式5如下


简而言之就是求余弦相识度

3 实验

实验还使用了两种常用的calibration方法分别是
Label Smoothing（LS）
一般用于one-hot编码，因为one-hot的input不能提供uncertain的部分，毕竟只有一个地方是1，其它地方都是0，所以LS就是要给uncertain的部分也分配一定的值，例如下面的例子：

Temperature Scaling（TS）
TS是在softmax的基础上引入参数T，对输出的confidence进行修改，如下

3.1 数据集

前面的部分是in-domain，后面的部分是用于out-of-domain，

3.2 所使用的Model

3.3 所对比的baseline

就是embedding的位置不同

3.4 本文mixup的位置，也就是embedding的位置

是在hidden层的

3.5 accuracy的实验结果

效果肯定好的

3.6 消融实验的结果

3.7 ECEs实验结果

---

小生水平有限，欢迎大家批评指正，你的点赞是我最大的支持谢谢！！