An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
论文信息
文章题目:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
作者:Dosovitskiy, A., Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, M. Dehghani, Matthias Minderer, Georg Heigold, S. Gelly, Jakob Uszkoreit and N. Houlsby
时间:2020
来源:ICLR 2021 / ArXiv
paper:http://arxiv.org/pdf/2010.11929v1
code:https://github.com/google-research/vision_transformer , https://github.com/lucidrains/vit-pytorch , https://github.com/likelyzhao/vit-pytorch
引用:Dosovitskiy, A., Beyer, L., Kolesnikov, A., et al (2020). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.ArXiv, abs/2010.11929.
总体认知
- 研究的基本问题
将Transformer直接应用于图像领域,进行图像分类任务,而不修改Transformer架构,也不使用CNN。 - 主要想法
将image分割成大小一致的patch,对应于NLP中的token,再将其进行嵌入表示,成为Transformer的输入。在patch前加入一个class表示,对应全局信息(图片分类),进行最终的预测。 - 结果与结论
在中规模数据上,表现一般。在大规模数据集预训练下,表现优异。且节省训练开销。 - 不足与展望
1.无法保留图像的二维结构信息(局部特性,归纳偏置),要依靠大量数据来弥补。
2.预训练与微调的开销问题。如何更有效利用自监督的预训练。
3.将transformer应用于cv中的其他领域。
Introduction
先前的研究,attention经常要跟CNN结合使用,而在本篇文章中,在图像块(image patches)的序列上应用纯粹的Transformer模型也可以表现得很好。
将一个标准Transformer直接应用到图像上,尽可能少的修改。为此,我们将图像分割成小块,并将这些块转化为线性嵌入序列,作为Transformer的输入。图像块(image patches)就相当于NLP任务中的单词(token)来做处理。并以有监督的方式训练图像分类模型。
当在中等规模的数据集(如ImageNet)上进行训练时,模型的准确率比同等规模的resnet低几个百分点。这一看似令人沮丧的结果是意料之中的:Transformer缺乏cnn所固有的一些归纳偏置(inductive biases),如平移不变性(translation equivariance)和局部性(locality),因此在数据量不足的情况下训练时不能很好地泛化。
然而,如果在更大的数据集(1400 -300万张图像)上训练模型,情况就会发生变化。我们发现大规模的训练可以克服归纳偏置(inductive biases)。当ViT在足够的规模上进行预先训练,并迁移到具有较少数据量的任务时,可以获得出色的结果。
Method
VISION TRANSFORMER (VIT)
预处理
将一张图片(H×W×C)分割为N个图像块(P×P×C),图像块长宽为P和P,那么 N = ( H ∗ W ) / P 2 N=(H*W)/P^2 N=(H∗W)/P2
再把每个图像块展平后连接得到一个N×P^2×C的二维矩阵,这样就可以作
为Transformer的输入了。
但有一个问题,因为P是不固定的,那么得到的的每个patch的向量长度也是不一样的,为了模型不受patch size 大小的影响,作者引入了Linear Projection of Flattened Patches来把每个 P 2 × C P^2×C P2×