超级会员免费看
DeiT是Facebook与索邦大学合作提出的一种利用知识蒸馏技术优化Transformer模型的方法，旨在解决ViT模型训练数据需求大、运算速度慢的问题。通过知识蒸馏，DeiT模型能在仅使用ImageNet数据的情况下，达到与先进CNN相当的性能，且训练更快。论文介绍了知识蒸馏的背景、理论原理，并展示了DeiT如何在Transformer中应用知识蒸馏。
DeiT详解：知识蒸馏的Transformer
0. 引言
针对 ViT 需求数据量大、运算速度慢的问题，Facebook 与索邦大学 Matthieu Cord 教授合作发表 Training data-efficient image transformers（DeiT） & distillation through attention。DeiT 将知识蒸馏的策略与 ViT 相结合，性能与最先进的卷积神经网络（CNN）可以抗衡。
论文名称：Training data-efficient image transformers & distillation through attention
论文地址：https://arxiv.org/abs/2012.12877
代码地址：https://github.com/facebookresearch/deit
1. ViT
提到 DeiT ，就不提不提及 ViT 。这里
订阅专栏 解锁全文
扫一扫
676
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
