《昇思25天学习打卡营第25+5天|gaoba13j》

打卡第30天，几天学习 Vision Transformer图像分类

简称ViT，是自然语言处理和计算机视觉两个领域的融合结晶。它是不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果的一种经典的分类方法。

ViT模型的主体结构是基于Transformer模型的Encoder部分，其模型结构相较于传统的Transformer有以下几个特点：

1.数据集的原图像被划分为多个patch（图像块）后，将二维patch（不考虑channel）转换为一维向量，再加上类别向量与位置向量作为模型输入；

2.模型主体的Block结构是基于Transformer的Encoder结构，但是调整了Normalization的位置，其中，最主要的结构依然是Multi-head Attention结构；

3.模型在Blocks堆叠后接全连接层，接受类别向量的输出作为输入并用于分类。通常情况下，我们将最后的全连接层称为Head，Transformer Encoder部分为backbone；