标签平滑 label smoothing

深度学习中最常见的问题就是模型的过拟合，我们通过正则化的技术来减少模型过拟合的情况；常用的正则化技术有：dropout，权重衰减，早停机制；除此之外，标签平滑也是一种正则化技术，因为它限制了softmax的最大概率，使得最大概率和其他概率相差不会特别大。
举个栗子：
标签进入模型中一般都会转化为one-hot编码，假设有个五分类的任务，某个标签会变成$[0，0，0，1，0]$，前向传播经过softmax时，五个类别的概率是$[0.05，0.15，0.1，0.65，0.05]$，此时我们通过交叉熵来计算损失：$CE=-{\sum }_{i=1}^n{y}_{i}log{p}_i$，该样本的损失是$-log0.65$，我们发现在计算损失时只考虑了最大输出概率的损失，这就意味模型只会优化正确标签的损失，而不关注错误标签的损失，那模型就不会去关注如何降低错误标签的预测概率，这将会导致模型在训练集上拟合的好，在测试集上拟合很糟糕，泛化能力差。
经过标签平滑后，我们设置平滑因子为$\alpha =0.1$：
$y_1=(1-\alpha )\ast [0,0,0,1,0]=[0,0,0,0.9,0]$
$y_2=\alpha \ast [1,1,1,1,1]=[0.1,0.1,0.1,0.1,0.1]$
$one-hot标签将会变为[0.1,0.1,0.1,1,0.1]$
此时再计算损失为$（0.1\ast log{p}_1+0.1\ast log{p}_2+0.1\ast log{p}_3+1\ast log{p}_4+0.1\ast log{p}_5）$
损失明显变大，这种情况模型不光会关注去减小正确标签的损失，也会关注去减小错误标签的损失。