1.背景介绍:
在多分类训练任务中,输入图片经过神级网络的计算,会得到当前输入图片对应于各个类别的置信度分数,这些分数会被softmax进行归一化处理,最终得到当前输入图片属于每个类别的概率。
![](https://i-blog.csdnimg.cn/blog_migrate/c141e1a91018b8096f2902f2dc76e6b9.png)
之后在使用交叉熵函数来计算损失值:
![](https://i-blog.csdnimg.cn/blog_migrate/d6f710e4616236f0f1730c05c01b071b.png)
最终在训练网络时,最小化预测概率和标签真实概率的交叉熵,从而得到最优的预测概率分布。在此过程中,为了达到最好的拟合效果,最优的预测概率分布为:
![](https://i-blog.csdnimg.cn/blog_migrate/294fe4955a2b3523a543a0e5f20390b0.png)
也就是说,网络会驱使自身往正确标签和错误标签差值大的方向学习,在训练数据不足以表征所以的样本特征的情况下,这就会导致网络过拟合。
2.label smoothing原理
label smoothing的提出就是为了解决上述问题。最早是在Inception v2中被提出,是一种正则化的策略。其通过"软化"传统的one-hot类型标签,使得在计算损失值时能够有效抑制过拟合现象。如下图所示,label smoothing相当于减少真实样本标签的类别在计算损失函数时的权重,最终起到抑制过拟合的效果。
![](https://i-blog.csdnimg.cn/blog_migrate/a3e1a49eeef8bd13b6bf5c4644562ce8.png)
1.label smoothing将真实概率分布作如下改变:
![](https://i-blog.csdnimg.cn/blog_migrate/5bb02991d5c5c71468bf73d3fb4957db.png)
其实更新后的分布就相当于往真实分布中加入了噪声,为了便于计算,该噪声服从简单的均匀分布。
2.与之对应,label smoothing将交叉熵损失函数作如下改变:
![](https://i-blog.csdnimg.cn/blog_migrate/e9e7942f72cf9d6306b658e56f70e764.png)
3.与之对应,label smoothing将最优的预测概率分布作如下改变: