VIT论文阅读

论文地址：https://arxiv.org/pdf/2010.11929.pdf

摘要

虽然transformer已经是nlp领域的标准，但是transformer来做cv很有限，cv中跟attention跟cnn一起使用，或者cnn中的某些卷积替换成attention，整体结构不变。文章提出，直接使用transformer也可以在图像，尤其在大数据做训练再迁移到中小数据集。同时，transformer需要更少的训练资源。（2500天TPU V3)

INTRODUCTION

nlp领域的应用，transformer已经是必选模型。主流方式：在大规模数据集做预训练再去特定领域小数据集做微调（Bert）

transformer应用到cv难点：2d图片变成1d数据

self-attention应用到cv领域，

1.featuremap当做transformer输入，

2.孤立自注意力：通过局部小窗口，轴注意力：2d矩阵拆分为2个1d，先在高度维度做self-attention，再宽度维度做self-attention

2理论上高速，没有在硬件上加速，模型不够大。

直接应用transformer在图片领域，不做修改。把图片分成几个patches，每个patch通过fc layer得到一个linear embedding，将其输入给transformer。图片块类似nlp里面的tokens。训练使用有监督

在中规模数据集，vit缺少归纳偏置（locality， translation equivariance：f(g(x))=g(f(x)），效果较弱。在大规模预训练，在下游任务去vit就可以取得相近或者更好的结果。

结论

抽图片块、位置编码之外没有引入归纳偏置。图像序列的图像块直接做transformer，简单、扩展性好的策略与大规模数据结合，达到了很好的效果。

未来方向：transformer在检测、分割的应用，自监督的预训练方式

模型变大达到更好的结果。

RELATEDWORK

transformer在nlp的应用：

BERT：denoising self-supervised（完形填空）

GPT：language modeling (next word pre)

在cv应用：

如果每个像素点当做一个元素，俩俩自注意力，平方复杂度难以应用

1.local neighborhoods

2.sparse transformer，稀疏点做自注意力

3.应用到不同大小block，或者按轴做自注意机制

需要用复杂工程加速算子

transformer和cnn结合：涵盖各领域

与之相似的工作：

1.Jean-Baptiste Cordonnier,Andreas Loukas,and Martin Jaggi. On the relationship between self-attention and convolutional layers. In ICLR, 2020.

2.iGPT：生成性模型，也使用transformer。微调后性能72%

3.其他相似工作：大数据集预训练；数据集ImageNet-21k、JFT-300M

METHOD

模型设计贴近transformer原理，好处：直接使用nlp的transformer架构

1.VISIONTRANSFORMER(VIT)

整体流程

1.图分成patch，变成序列

X: 224x224,使用patch size = 16, N= HW/P^2

得到196个图像块 ==> 16x16x3

2.每个patch经过linear projection线性投射层（全连接层E）得到特征，即patch embedding。加上位置编码信息position embedding。

3.借鉴bert extra learnable embedding，加入特殊字符cls ，图像*代替，class embedding。token输入transformer encoder

E: 768x768, D = 768,第一个768是图像计算得来16x16x8

X * E = 196 x 768 x 768 x 768 = img: 196 x 768 = 197 x 768,  矩阵乘法
								cls： 1  x 768		
加入位置编码信息，sum

4.多头自注意力机制，mlp head 分类头

12个头：768 / 12 = 64

197x64	197x64	197x64 12个头输出拼接：197 x 768
k		q		v

layer norm： 197 x 768
mlp： 放到4倍：197 x 3072 缩小投射———> 197 x 768

消融实验

HEAD TYPE AND CLASSTOKEN

class token 当做图像的整体特征，token输出接mlp，使用tanh为激活函数做预测。

（ResNet）图像全局向量特征：feature map ——> globally average-pooling

transformer

两种方式都可以，vit用class token，尽可能跟transformer保持一致

poisitional embedding

• 1D: nlp常用的

  1 2 3 4 ... 9   维度 D
  

• 2D：

  		D/2
  D/2	11	12	13
  	21	22	23
  	31	32	33
  维度D/2的向量表示X-embedding, D/2的向量表示Y-embedding
  contact成维度D --> 2d poisitional embedding
  

• Relative position embedding：绝对距离、相对距离

实验结果：都可以

ptach-level而不是pixel-level，图像块较小，获取小块之间相对位置较容易，因此采用不同位置编码差异不大。

本文中vision transformer采用class token 跟1d position embedding（对标准的transformer不做过多改动）

整体过程公式

Inductive bias

cnn: locality、translation equivariance，模型每一层均体现，先验知识贯穿

vit：mlp layer是局部、平移等变性，self-attention全局，图片2d信息基本没有使用。位置编码也是随机初始化，没有携带任何2d信息。（缺少偏置，中小数据集效果不如cnn）

Hybrid Architecture

使用CNN进行预处理

图片通过CNN获取feature map，拉直后跟全连接层操作

2.FINE-TUNINGANDHIGHERRESOLUTION

微调用较大尺寸图像，得到更好结果。

使用预训练好的vision transformer，当用更大尺寸图像，patch size 保持一致，序列长度增加，提前预训练好的位置编码失效。

进行2d插值解决该问题（临时解决方案，微调局限性），2D interpolation

实验

对比resnet、vit和hybrid表征学习能力，不同大小数据集做预训练，在很多数据集做测试。vit在大多数数据集上训练时间短效果好

数据集：imagetNet、imagetNet-21k、JFT

下游任务分类：CIFAR-10/100、Oxford-IIIT Pets、,OxfordFlowers-102

ViT-L/16：Large模型，patch size 16x16

序列长度跟patch size成反比，模型用更小的patch size时，计算代价更大

bit：cnn中较大的模型

noisy student：image net中表现最好 ，pseudo-label进行self training （伪标签）

vit训练时间更短

1.小数据集cnn效果好

2.数据规模大于ImageNet-21K，vit效果较好

使用预训练模型当做特征提取器，做5-shot

原因：缺少归纳偏置，小数据集效果较cnn差；

平均注意力距离

自监督：masked patch，将图片分成几个patch，随机涂抹几个patch；