深度学习中的标签平滑正则化（Label Smoothing Regularization）方法原理详解

论文：https://arxiv.org/pdf/1512.00567.pdf

(一)、为什么有标签平滑正则化（Label Smoothing Regularization, LSR）的方法?
在深度学习样本训练的过程中，我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合的很好，但由于其他错误标签位置的损失没有计算，导致预测的时候，预测错误的概率增大。为了解决这一问题，标签平滑的正则化方法便应运而生。

(二)、标签平滑是如何实现的?
(1). 传统的softmax公式如下：$$p_i=\frac{e^{z_i}}{{\sum }_{i=1}^n{e}^{z_i}}\text{\hspace{1em}(2.1)}$$其中$p_i$为当前样本属于类别$i$的概率，$z_i$指的是当前样本的对应类别$i$的$logit$，$n$为样本类别总数，则我们可以得到交叉熵（cross entropy）损失：$$loss=-\frac{1}{m}\sum _{k=1}^m$$