label smoothing(标签平滑)

问题

交叉熵训练时会自动往减小误差函数的方向，即驱使自身往正确标签和错误标签差值最大的方向学习，在训练数据不足以表征所有样本特征的情况下，这就会导致网络过拟合。

解决

one-hot硬编码形式的标签会导致过拟合，而label smoothing是一种正则化策略，通常用于分类问题，通过soft one-hot 标签来引入噪声，减小了真实样本标签的类别在计算损失函数时的权重，从而改善泛化能力差的问题。

对于分类问题，传统的one-hot编码的标签向量为：

而label smoothing结合了均匀分布，用更新的标签向量来替换传统的one-hot编码的标签向量:

其中K为多分类的类别总个数，是一个较小的超参数（一般取0.1），即

这样，标签平滑后的分布就相当于往真实分布中加入了噪声，避免模型对于正确标签过于自信，使得预测正负样本的输出值差别不那么大，从而避免过拟合，提高模型的泛化能力。