论文链接:https://arxiv.org/pdf/1512.00567.pdf
1.Model Regularization via Label Smoothing
主要思想是改变以往ground truth label one hot 编码的方式,引入一些固定分布的噪声,使得label更加soft,防止过拟合
简单来说,可以加入一个固定的均匀分布到label中。
从LOSS角度来看,其实是加入了一个新的loss,防止过拟合。
可以认为 loss 函数分别以不同的权重对 predicted label 与标注的label 的差距 以及 predicted label 与 先验分布的差距 进行惩罚。根据文章的报告,可以对分类性能有一定程度的提升。(In our ImageNet experiments with K = 1000 classes, we used u(k) = 1/1000 and = 0.1. For ILSVRC 2012, we have found a consistent improvement of about 0.2% absolute both for top-1 error and the top-5 error )
Reference:
1. https://blog.csdn.net/edogawachia/article/details/78552257
2. https://arxiv.org/pdf/1512.00567.pdf