ViT是一种基于Transformer架构的视觉领域的深度学习模型。它的主要目标是将Transformer应用于图像识别任务。
ViT和Transformer区别如下:
1. 输入数据结构:Transformer主要应用于自然语言处理领域,输入是一串序列数据,如单词序列。而ViT主要应用于计算机视觉领域,输入是二维图像数据。
2. 输入编码:Transformer使用位置编码来捕捉输入序列中单词之间的相对位置关系。而ViT通过将图像划分为一系列的图像块,并将每个图像块展平为向量,然后通过位置编码和嵌入向量来表示图像块的位置信息和特征信息。
3. 注意力机制:Transformer使用自注意力机制来建立单词之间的依赖关系。ViT在Transformer的基础上引入了多头自注意力机制,用于处理图像块之间的关系。
4. 应用领域:Transformer广泛应用于自然语言处理任务,如机器翻译、文本生成等。ViT主要应用于图像分类任务,如目标识别、图像分割等。
总的来说,ViT是一种将Transformer应用于图像领域的模型,它通过对图像块进行编码和注意力机制的处理,实现了对图像的表示和分类。而Transformer更广泛地应用于自然语言处理任务,它通过对序列数据的编码和注意力机制的处理,实现了对文本的建模和处理。
ViT的结构
将图像分割成固定大小的块,ViT将输入图片分为多个patch(16x16),线性嵌入每个块,将每个patch投影为固定长度的向量送入Transformer,添加位置嵌入,后续encoder的操作和原始Transformer中完全相同。但是因为对图片分类,因此在输入序列中加入一个特殊的token,该token对应的输出即为最后的类别预测。
按照上面的流程图,一个ViT block可以分为以下几个步骤:
(1) patch embedding
标准 Transformer 接收一维令牌嵌入序列作为输入。为了处理 2D 图像,将图像重塑为一系列展平的 2D 块。 补丁嵌入投影 E(公式1)应用于从 CNN 特征图提取的补丁。作为一种特殊情况,补丁可以具有 1x1 的空间大小,这意味着输入序列是通过简单地展平特征图的空间维度并投影到 Transformer 维度来获得的。如上所述添加分类输入嵌入和位置嵌入。Transformer 在其所有层中使用恒定的潜在向量大小 D,因此将补丁展平并使用可训练的线性投影映射到 D 维度(公式1),将该投影的输出称为补丁嵌入。
例如:输入图片大小为224x224,将图片分为固定大小的patch,patch大小为16x16,则每张图像会生成224x224/16x16=196个patch,即输入序列长度为196,每个patch维度16x16x3=768,线性投射层的维度为768xN ,因此输入通过线性投射层之后的维度依然为196x768,即一共有196个token,每个token的维度是768。这里还需要加上一个特殊字符cls,因此最终的维度是197x768。到目前为止,已经通过patch embedding将一个视觉问题转化为了一个seq2seq问题。
(2) positional encoding(standard learnable 1D position embeddings)位置编码(标准可学习的一维位置嵌入)
位置嵌入被添加到补丁嵌入中以保留位置信息。使用标准的可学习 1D 位置嵌入,生成的嵌入向量序列用作编码器的输入。ViT同样需要加入位置编码,位置编码可以理解为一张表,表一共有N行,N的大小和输入序列长度相同,每一行代表一个向量,向量的维度和输入序列embedding的维度相同(768)。注意位置编码的操作是sum,而不是concat。加入位置编码信息之后,维度依然是197x768。
(3) LN/multi-head attention/LN
Transformer 编码器由多头自注意力和 MLP 块(公式2、3)的交替层组成。 Layernorm (LN) 应用在每个块之前,并在每个块之后应用残差连接。在 ViT 中,只有 MLP 层是局部和平移等变的,而自注意力层是全局的。LN输出维度依然是197x768。多头自注意力时,先将输入映射到q,k,v,如果只有一个头,qkv的维度都是197x768,如果有12个头(768/12=64),则qkv的维度是197x64,一共有12组qkv,最后再将12组qkv的输出拼接起来,输出维度是197x768,然后在过一层LN,维度依然是197x768。
(4) MLP
MLP 包含两个具有 GELU 非线性的层。将维度放大再缩小回去,197x768放大为197x3072,再缩小变为197x768,一个block之后维度依然和输入相同,都是197x768,因此可以堆叠多个block。最后会将特殊字符cls对应的输出作为encoder的最终输出 ,代表最终的image presentation(另一种做法是不加cls字符,对所有的tokens的输出做一个平均),如下图公式(4),后面接一个MLP进行图片分类:
将可学习的嵌入添加到嵌入补丁序列 (z0:0 = xclass) 中,其 Transformer 编码器 (z0:L) 输出处的状态用作图像表示 y(等式 4) 。