Vision Transformer 总结

Vision Transformer

Transformer

结构

ViT中最重要的部分是self-attention, 对照片做的patches, 以及position embedding。self-attention机制在之前的博客里面也有讲过，在这里主要是计算每一个patch 之间的相关性，多头的自注意力机制有些许不一样的。我个人的理解是单头的注意力机制只能计算某一个特征和另外一个特征的相关性，但是多头注意力机制可以同时处理多个特征的和另外多个特征的相关性。我感觉这里可以结合“线性分类器” 和 "CNN"的区别来理解。 线性分类器只能学习到输入数据的一个mode,比如 “一个人的看向左边”，但是如果输入数据中还有：‘一个人看向右边’的图片，线性分类器就无法准确的学习，但是CNN却因为很多的kernels，所以可以学习到一个物体的不同mode。 这里的self-attention 和multi-head self-attention 可以采用的同样的方式来理解。

至于patch， 我认为是将图片序列化的一个过程而已，因为Transformer本身是无法处理图片格式的数据的。所以将图片打散成小的patch更符合Transformer的输入条件。但是图像数据本身携带了位置信息的，通过这样的“序列化”过程会导致图像丢失之前的位置信息，所以position embedding 在ViT中才如此的重要。所谓position embedding 实际上是加在每一个patch上的一个小向量来表示当前patch的位置信息。

相较于CNN 的优势在哪里？

想要获得全局的信息CNN 通常需要通过堆叠深度来实现感受野的增长。因为对于CNN 来说 第N层