极智AI | 详解 ViT 算法实现

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  大家好，我是极智视界，本文详细介绍一下 ViT 算法的设计与实现，包括代码。

  ViT 全称 Vision Transformer，是 transformer 在 CV 领域应用表现好的开始，而在此之前，CV 领域一直是 CNN 的天下，虽然 ViT 主要用于图像分类这个简单的任务，但它说到底挑战了自从 2012 年 AlexNet 出世以来，卷积神经网络在计算机领域绝对统治的地位。ViT 的重要性不只在于证明了 transformer 在图像分类上也能 work 的很好，其贡献还在于它给大家挖了个大坑，并随之而来井喷出了大量 ViT 变种以及其他视觉任务的应用，如目标检测 (DETR)、语义分割 (SETR)、图像生成 (GANsformer) 、多模态应用 (CLIP) 等。

  本文不止会介绍 ViT 的原理，还会介绍 ViT 的实现，包括代码。下面开始。

  参考 Paper：《An Image is Worth 16x16 words Transformers for image recognition at scale》。

1 ViT 算法原理

  用 CNN 来提图像特征是大家所熟悉的，CNN 里最重要的算子是 卷积，卷积具有两个很重要