论文研读 An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale

完整翻译 《An Image is Worth 16x16 Words》完整版翻译_an image is worth 16*16words-CSDN博客

 大神讲解 

Vision Transformer详解-CSDN博客

视频讲解

11.1 Vision Transformer(vit)网络详解_哔哩哔哩_bilibili

学习整理

简要概述：Vision Transformer（ViT）是一种将Transformer架构直接应用于图像分类任务的模型。它源于自然语言处理（NLP）领域中的Transformer模型，该模型以其自注意力机制而闻名，能够捕捉序列中的长距离依赖关系

背景：虽然Transformer结构已经成为NLP领域的标准，但在计算机视觉领域的应用还非常有限。在视觉领域，注意力要么是结合卷积网络来使用，要么是用于替换卷积网络的某些组件，同时保持整体结构不变

核心：直接将Transformer应用到图像块序列上，并进行尽可能少的修改

将图像分解成图像块，然后将这些图像块的线性嵌入式序列作为Transformer的输入

1.ViT首先将输入图像分割成固定大小的图像块（patch），2 然后将每个图像块线性嵌入到一个固定维度的向量中。3 这些向量被添加位置嵌入信息，以保留图像块在原始图像中的位置信息。之后，4 这些带有位

为了执行图像分类任务，ViT在序列的开头添加了一个可学习的“分类标记”（class token）。在模型经过多个编码器的处理后，这个分类标记会被用来生成最终的分类结果。通过优化分类损失函数，模型可以学习到如何从图像块中提取有用的特征，并用于图像分类任务。

优势：

与传统的卷积神经网络（CNN）相比，ViT具有更高的灵活性和可扩展性，因为它可以处理任意大小的输入图像，并且不需要固定大小的卷积核。此外，由于ViT采用了自注意力机制，它能够捕获图像块之间的全局依赖关系，这对于一些需要理解图像整体结构的任务来说是非常重要的。

实验结果总结：

Transformer缺少一些CNN的固有性质，比如平移不变性和局部参数共享，因此当在不充分数据集下训练时，泛化性能不是很好。

大规模训练胜过CNN的归纳偏置（Inductive Bias）。的Vision Transformer(ViT)当在足够大的数据集上进行预训练后，然后迁移至拥有较少数据集的任务上时，可以获得极好的结果

框架