Vision Transformer【ViT】学习笔记

模型架构图

整体介绍

首先将图片切分成为9宫格，每一个小块为一个patch，再展平为1维向量，再经过一个线性层（MLP）投影成为我们规定的维
度（对应于Transformer里面的将token向量化的过程）。
由于图片切分之后分别输入到网络中，此时位置信息会被打乱，此时需要positional embedding对位置信息进行编码，再进行自注意力的计算。

在Encoder的最后，每一个token都对应一个输出，应该用哪一个作为输出分类呢？
借鉴bert，Extra learnable {class} embedding --> [class]，即图中的第0位置的token，在encoder里面做自注意力计算的的时候，所有的token进行两两计算时，这个分类的token同样也会和所有的token进行交互，可以学习到图片所有的特征，此时用作图片分类是合理的。
[class] 输入 一个通用的 MLP Head，得到 Class，cross-entropy 损失函数训练模型。

一句话概括ViT的工作

ViT用标准的transformer结构，仅仅是将图片当作句子，patch当作单词进行处理，像论文题目An Image is worth 16 * 16 words，即一张图片都是很多个16*16的patch组成的，最后加一个class token + MLP (tanh acitvation)完成图片分类任务。

ViT 前向过程

输入图片 X： 224 * 224 * 3 (RGB, 3 channels)
patches 数 N： 224 ^ 2 / 16 ^ 2 = 14 ^ 2 = 196
每一个 patch 的维度：16 * 16 * 3 (RGB, 3 channels) = 768
Linear Projection 全连接层 E: 768( 不变，patch 计算而来 ) * D(embedding_dim) 768 或 更大【这是可以设置为我们想要的语义空间的维度】
图片 X * E = patches (196 patches 个数 * 768 每个 patch 的维度) * E ( 768 * D ) = 196 * D (768)

Q: 进入 transformer encoder 的序列长度？
196 * 768(图片对应的 tokens) 拼接 concatenate [class] token (1 * 768) = 197 * 768

Q: position embedding 怎么加 patch embedding？sum()
位置编码每行向量的维度是 1 * 768
相加 sum：
patch embedding（197 * 768） + position embedding （(1 CLS + 196 patches) * 768）= （197 * 768）

Transfomer encoder 输入输出维度保持一致，即D(768)。

ViT总结

【贡献】
首次将NLP里面的Transformer搬到CV，其主要模型架构和bert相同，都是只采用了Transformer的Encoder。它打破了NLP和CV的壁垒，真正在多个领域实现了统一模型，是一项奠基性的工作。原论文仅仅是解决了图像分类任务，目标检测，图像分割等任务依然可以通过Transformer完成，这给后人提供了研究方向。
【局限】
由于tokens之间是两两进行全局注意力的计算，所以复杂度是二次方，在图片较大的时候是不可接受的。ViT只有在大数据集上才能胜过ResNet，在小数据集上依然是ResNet领先，这归功于CNN天生的特征提取局部性和平移不变形等归纳配置（先验知识）。后续的Swin Transformer很好的解决了上述两点问题，因而成为目前【2022】最厉害的CV框架。