Self-training with Noisy Student improves ImageNet classification阅读笔记

论文地址：https://arxiv.org/pdf/1911.04252v1.pdf

这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。

方法：

1. 为有标签和无标签的图片。

2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。

3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft label(持续分布），或者hard label（one-hot分布）。文章说软标签效果更好。

4. 在有标签和无标签数据下，使用交叉熵训练一个学生网络。

5. 通过把学生网络视为教师网络，迭代以上步骤，生成新的伪标签，并训练学生网络。

 

软标签和硬标签，举个例子，比如图片A，输入一个分5类的网络。软标签[0.7, 0.3, 0, 0, 0]，硬标签[1, 0, 0, 0, 0]。

 

算法如下：

算法基于半监督学习，主要的困难在于：训练学生网络的时候添加更多的噪声，在教师网络生成标签时把这些噪声移除。使用的噪声有：dropout，随机深度，数据增广。如果使用数据增广，学生必须保证被转换的