【计算机视觉】ViT：Vision Transformer 讲解

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【自然语言处理】Attention 讲解
【自然语言处理】Transformer 讲解
【自然语言处理】BERT 讲解

ViT : Vision Transformer

1. 模型概述

Transformer 已经在自然语言处理（NLP）领域中取得了显著效果，但是在计算机视觉（CV）领域的应用非常有限。在计算机视觉领域，对 Transformer 的应用主要体现在两类方法中：其一是将注意力与卷积神经网络结合；其二是用注意力层替换某些卷积层。显然，这两类方法本质上并不是 Transformer 架构，都没有改变对 CNNs 架构的依赖。

本文作者提出了 Vision Transformer（ViT）模型用于图像分类任务。ViT 模型结构的灵感是，尽可能不改变原始的 Transformer 结构；ViT 模型通过在大型数据集上有监督地预训练，在任务相关的小型数据集上微调的方式进行训练；ViT 模型得出的重要结论是，当拥有充足的数据对其进行预训练时࿰