DL-Paper精读：DeiT

Training data-efficient image transformersa& distillation through attention

https://arxiv.org/abs/2012.12877

Background

Transformer在CV领域已呈席卷之势滚滚而来~

Related work and the limit

ViT(Vision Transformer)对二维图像进行切片并序列化作为输入，将NLP中的Transformer结构直接引入图像分类任务中，取得了SOTA的精度（可怕的88.7%~）。然而，ViT的训练却让大部分人只能望而却步。ViT选择采用超大数据集进行预训练，然后再迁移到下游任务的训练流程，对训练数据的大小，服务器等资源配比的要求极高。（在ViT中，直接在ImageNet上进行训练精度并不具备优势：”do not generalize well when trained on insufficient amounts of data”。）

Novel Points

• 本文针对于ViT不能直接在ImageNet上进行训练的问题进行了研究并解决了该问题（即data-efficient training）
• 同时，提出了一种对Transformer结构进行蒸馏的可行方案。

Methodology

1. Data-efficient training. 先/(ㄒoㄒ)/~~一个，没有改结构，没有新的trick，就是一模一样的ViT结构&#