#今日论文推荐# ResNet50 文艺复兴 | ViT 原作者让 ResNet50 精度达到82.8%

#今日论文推荐# ResNet50 文艺复兴 | ViT 原作者让 ResNet50 精度达到82.8%

在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，将解决这个问题，并显著地弥补这2种模型之间的差距。
在实证研究中，作者的目标不是一定要提出一种新的方法，而是努力确定一种稳健和有效的配置方案，使最先进的大模型在实践中能够得到应用。本文证明了在正确使用的情况下，知识蒸馏可以在不影响大模型性能的情况下减小它们的规模。作者还发现有某些隐式的设计选择可能会极大地影响蒸馏的有效性。
作者的主要贡献是明确地识别了这些设计选择。作者通过一项全面的实证研究来支持本文的发现，在广泛的视觉数据集上展示了很不错的结果，特别是，为ImageNet获得了最先进的ResNet-50模型，达到了82.8%的Top-1精度。

论文题目：Knowledge distillation:A good teacher is patient and consistent
详细解读：https://www.aminer.cn/research_report/6281cf537cb68b460fb98090?download=falsehttps://www.aminer.cn/research_report/6281cf537cb68b460fb98090?download=false
AMiner链接：https://www.aminer.cn/?f=cs