Google Brain最新论文：标签平滑何时才是有用的？

1、标签平滑（Label Smoothing）
4、在这一节中，作者发现在知识蒸馏模型中，尽管标签平滑可以提高教师网络的准确率，但是使用标签平滑训练的教师网络相比于使用硬目标训练的教师网络，其相应的学生网络的表现却要更差。作者以ResNet-56作为教师网络，以AlexNet作为学生网络进行了实验，结果如下：

参考：https://www.jiqizhixin.com/articles/2019-07-09-7