本视觉Transformers(86M参数)在ImageNet上达到83.1%的top-1精度,蒸馏版本高达84.4%!优于ViT、RegNet和ResNet等,代码刚刚开源!
注:文末附【Transformer】学习交流群
Training data-efficient image transformers & distillation through attention
- 作者单位:Facebook AI, 索邦大学。注:其中一位也是DETR的作者之一
- 代码(不到一天,已经近200 star了):https://github.com/facebookresearch/deit
- 论文:https://arxiv.org/abs/2012.12877
最近,显示出纯粹基于注意力的神经网络可解决图像理解任务,例如图像分类。但是,这些视觉transformers使用昂贵的基础架构预先接受了数亿个图像的训练,从而限制了它们在更大的社区中的应用。关于视觉Transformer,推荐看一下这个最新综述:华为等提出视觉Transfor