label smoothing 标签平滑

Label smoothing Regularization(LSR)是深度学习中的一种优化方法，即“标签平滑归一化”，它的优化对象是Label。可以理解为给样本标签引入一定的噪声，避免模型过拟合。

对于分类问题，尤其是多类别分类问题中，常常把类别向量表示成one-hot vector，也叫做硬目标。

简单地说，就是对于多分类向量，计算机中往往用[0, 1, 3]等此类离散的、随机的而非有序(连续)的向量表示，而one-hot vector 对应的向量便可表示为[0, 1, 0]，即对于长度为n 的数组，只有一个元素是1，其余都为0。因此表征我们已知样本属于某一类别的概率是为1的确定事件，属于其他类别的概率则均为0。

one-hot 带来的问题：

对于损失函数，需要用预测概率去拟合真实概率，拟合one-hot的真实概率函数会带来两个问题：

• 无法保证模型的泛化能力，容易造成过拟合；
• 全概率和0概率鼓励所属类别和其他类别之间的权重差距尽可能加大，而由梯度有界可知，这种情况很难adapt。会造成模型过于相信预测的类别。

使用下面的 label smoothing 可以缓解这个问题：

假设样本以的概率为其它类，平滑后的标签为：,K为标签数量，这种标签可以看作软目标。

标签平滑可以避免模型的输出过拟合到硬目标，并且一般不会损害模型的分类能力。