原文:Xie, Qizhe, Eduard H. Hovy, Minh-Thang Luong and Quoc V. Le. “Self-Training With Noisy Student Improves ImageNet Classification.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020): 10684-10695.
源码:https://github.com/google-research/noisystudent
我们提出了一种简单的自训练方法Noisy Student,在ImageNet上实现了88.4%的Top-1精度,比之前的SOTA模型提高了2.0%。在稳健性测试集上,它将ImageNet-A的Top-1精度从61.0%提高到了83.7%,将ImageNet-C的平均损坏误差从45.7降低到了28.3,并将ImageNet-P的平均翻转率从27.8降低到了12.2。
为了实现这一结果,我们首先在有标签的ImageNet图像上训练了一个EfficientNet模型,并将其作为教师模型给300M无标签图像打上伪标签。然后,我们使用上述有标签图像和伪标签图像训练了一个更大的EfficientNet作为学生模型。接着,我们让学生模型成为新的教师模型来迭代这个过程。在生成伪标签的过程中,教师模型不受干扰,使伪标签尽可能准确。而在学生模型的学习过程中,我们通过RandAugment引入dropout、random depth、data augmentation等噪声,使学生模型的泛化能力优于教师模型。
表1:Noisy Student与之前的SOTA模型结果的比较。
★ 背景知识
★ 模型方法
首先,我们基于有标签图像,使用标准交叉熵损失训练一个教师模型。然后,我们使用教师模型在无标签的图像上生成伪标签,伪标签可以是软的(连续分布),也可以是硬的(独热分布)。然后,我们基于上述有标签和伪标签图像,使用标准交叉熵损失训练一个学生模型。最后,我们迭代这个过程,将学生模型作为新的教师模型,以生成新的伪标签并训练新的学生模型。
图1:NoisyStudent的方法。
算法1:NoisyStudent的算法。
★ 实验结果
表2:NoisyStudent和之前的SOTA模型在ImageNet上的Top-1和Top-5精度。
图2:NoisyStudent使所有型号的EfficientNet都有了显著的改进。
表3:在ImageNet-A上的鲁棒性结果。
表4:在ImageNet-C上的鲁棒性结果。
表5:在ImageNet-P上的鲁棒性结果。
图3:从ImageNet-A、C和P中选择的图像示例。在ImageNet-A和C上,带NoisyStudent的EfficientNet生成了正确的Top-1预测(黑色),而不带NoisyStudent的EfficientNet生成了错误的Top-1预测(红色)。在ImageNet-P上,不带NoisyStudent的EfficientNet经常改变预测。
图4:NoisyStudent提高了对FGSM攻击的对抗鲁棒性,尽管该模型未针对对抗鲁棒性进行优化。
表6:关于噪声的消融研究。
表7:迭代训练提高了精度,其中Batch Size Ratio表示无标签数据和有标签数据之间的批量大小比率。
表8:本文中使用的EfficientNets的架构规范。
表9:使用我们的最佳模型(Top-1精度为88.4%)作为教师模型可以带来更多的性能提升。
表10:Noisy Student训练的性能随着无标签数据量的增加而提高。
图5:对于低置信度数据(域外数据),软伪标签可以带来更好的性能。
表11:使用更大的学生模型可以提高性能。
表12:对于小型模型,数据平衡会产生更好的结果。
表13:联合训练比预训练和微调的效果更好。
表14:对于固定的有标签数据的批量大小,增大无标签数据的批量大小可以提高EfficientNet-L2的性能,其中Batch Size Ratio表示无标签数据和有标签数据之间的批量大小比率。
表15:由教师模型初始化的学生模型仍然需要至少140个epoch才能表现良好。
表16:在ResNet-50上的实验。
表17:在SVHN上的结果。
表18:使用YFCC100M和JFT作为无标签数据集的结果。
★ 总结讨论
以前关于弱监督学习的工作需要大量的弱标记数据来改进SOTA ImageNet模型。在这项工作中,我们证明了使用无标签图像可以显著提高SOTA ImageNet模型的精度和鲁棒性。我们发现,自训练是一种简单有效的算法,可以大规模利用无标签数据。我们通过给学生模型增加噪声(因此得名NoisyStudent)来改进它,使其可以学到超出教师模型的知识。
我们的实验表明,带NoisyStudent的EfficientNet可以达到88.4%的精度,比不带NoisyStudent时提高了2.9%,这一结果达到了新的SOTA水平,比之前使用弱标记数据的最佳方法提高了2.0%。
我们工作的一个重要贡献是证明NoisyStudent增强了计算机视觉模型的鲁棒性。实验表明,我们的模型在ImageNet-A、C和P上的性能都有显著提高。
多模态人工智能
为人类文明进步而努力奋斗^_^↑
50篇原创内容
欢迎关注“多模态人工智能”公众号,一起进步^_^↑