视觉Transformer (四) ViT - AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

论文来源

paper: https://arxiv.org/abs/2010.11929
code: https://github.com/google-research/vision_transformer

Motivation

虽然Transformer架构已经成为自然语言处理任务的标准，但它在计算机视觉方面的应用仍然有限。
在视觉中，注意力要么与卷积网络一起应用，要么用于替换卷积网络的某些组件，同时保持它们的整体结构。
作者证明了这种对cnn的依赖是不必要的，直接应用于图像patch序列的纯transformer可以很好地执行图像分类任务。
当对大量数据进行预训练并转移到多个中型或小型图像基准(ImageNet, CIFAR-100, VTAB等)识别时，视觉Transformer(Vision Transformer, ViT)与先进的卷积网络相比获得了优异的结果，同时需要的计算资源大大减少。

方法

Vision Transformer (ViT)

对于输入2D图像$x\in {\mathbb{R}}^{H\times W\times C}$，$H,W$代表2D图像的分辨率，$C$代表通道个数。

(1) 首先将$x$变换为一系列2Dpatch，并将这些patch 扁平化为向量，即${\mathbf{x}}_p\in {\mathbb{R}}^{N\times (P^2\cdot C)}$，其中$(P,P)$代表每个图像patch的分辨率，$N=HW/P^2$代表$x$划分为patch的个数，也充当了transformer输入的序列长度。

(2) 由于transfomer使用了固定长度为D的向量作为输入，故作者扁平化(flatten)了patch块并且利用了一个可训练的线性投影将其映射为D维向量。将投影的结果作为patch embedding。${\mathbf{E}}_{pos}$代表postion embedding。作者采用了标准的1D position embedding，因为作者观察到采用2D的postion embedding 没有明显的性能提升。
此外，作者预先定义了可学习的embedding，将其嵌入到embedding patch中，即下述公式的${\mathbf{x}}_{class}={\mathbf{z}}_0^0$。

(3) 将${\mathbf{z}}_0$向量序列通道Transfomer encoder，该encoder由多个multi-head self-attention和MLP block构成，每个block后面都采用了LayerNorm操作，并且每个block后面都添加了跨层连接操作。MLP由2层FC实现，并且带有一个GeLU激活函数。最后将其输出结果${\mathbf{z}}_L^0$作为图像的表征$\mathbf{y}$。

MSN代表mult-head self-attention；L代表block个数。

(4) ${\mathbf{z}}_L^0$紧接着通过分类head完成分类操作，该head有带有一个隐藏层的MLP实现。该MLP在pre-training时具有一个隐藏层，但是在fine-tuning时没有隐藏层。
注：
A. 作者注意到Vision Transformer有较少的image-specific indctive bias，相比CNN的话；
B. transformer输入的图像序列可以是原始图像信息，也可以是经过CNN后的特征图信息。紧接着，将这些序列信息作用与patch embedding projection $\mathbf{E}$。
C. 在应用transformer时，可能会存在fine-tuning图像和预训练图像空间分辨率不同的情况，这时候划分的图像patch个数必然不同，导致之前预训练的postion embedding失效。为此，作者首先在预训练的postion embedding上通过他们在原图上的位置进行2D插值，使其和现在fine-tuning图像数据对应上。
（Note that this resolution adjustment and patch extraction are the only points at which an inductive bias about the 2D structure of the images is manually injected into the Vision Transformer.）
问题：只用了transformer encoder，没有用到decoder吗?

结论

作者将transfomer应用到图像分类上，实验论证了数据量足够大时，该方法会产生比ResNet更高的性能。