标注平滑技术（Label Smoothing）

在分类任务中，常用交叉熵损失函数来优化模型。但是交叉熵损失函数中的标注为one-hot向量，在计算损失时，仅仅1标签对应的概率产生了损失，而其它0标签对应的概率无论如何都不会产生损失，这样就浪费了有用信息，容易让模型只关注提高标签对应的概率，而不考虑0标签对应的概率，不利于模型的学习。
标注平滑技术对one-hot向量进行了改进，简而言之就是想one-hot向量中的零元素改成一个小的整数，这样在0标签对应的概率也有损失产生，有助于模型的训练。其训练目的就是使得模型输出概率，不仅在正确类别上不断提升概率，而且在错误类别上不断减小概率。

从另外一个角度讲，该训练机制不完全信任监督信号，使得模型对于错误标注由一定的鲁棒性。

标注平滑技术也被认为是一种正则化技术，因为其可以防止输入softmax函数的logit值变得非常大。由于当没有使用标注平滑技术时，训练过程会不断迫使1标签对应的logit变得非常大，进而去逼近一个类似one-hot向量的概率，这样就容易产生了过拟合。而使用标注平滑技术后，模型仅仅需要去逼近平滑后的标注，此时1标签对应的logit值在不很大的情况下就能产生目标概率值。