【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析

最新推荐文章于 2024-04-30 00:06:08 发布

置顶旅途中的宽~

最新推荐文章于 2024-04-30 00:06:08 发布

阅读量6.4k

点赞数 3

分类专栏：计算机视觉文章标签：计算机视觉 transformer 深度学习 VIT

本文链接：https://blog.csdn.net/wzk4869/article/details/130480240

版权

计算机视觉专栏收录该内容

151 篇文章 79 订阅

订阅专栏

文章目录

一、简介
二、Vision Transformer如何工作
三、ViT模型架构
四、ViT工作原理解析
五、总结

一、简介

Visual Transformer (ViT) 出自于论文《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》，是基于Transformer的模型在视觉领域的开篇之作。

在这里插入图片描述

本文将尽可能简洁地介绍一下ViT模型的整体架构以及基本原理。

ViT模型是基于Transformer Encoder模型的，在这里假设读者已经了解Transformer的基本知识。

二、Vision Transformer如何工作

我们知道Transformer模型最开始是用于自然语言处理(NLP)领域的，NLP主要处理的是文本、句子、段落等，即序列数据。但是视觉领域处理的是图像数据，因此将Transformer模型应用到图像数据上面临着诸多挑战，理由如下：

与单词、句子、段落等文本数据不同，图像中包含更多的信息，并且是以像素值的形式呈现。
如果按照处理文本的方式来处理图像，即逐像素处理的话，即使是目前的硬件条件也很难。
Transformer缺少CNNs的归纳偏差，比如平移不变性和局部受限感受野。
CNNs是通过相似的卷积操作来提取特征，随着模型层数的加深，感受野也会逐步增加。但是由于Transformer的本质，其在计算量上会比CNNs更大。
Transformer无法直接用于处理基于网格的数据，比如图像数据。

为了解决上述问题，Google的研究团队提出了ViT模型，它的本质其实也很简单，既然Transformer只能处理序列数据，那么我们就把图像数据转换成序列数据就可以了呗。下面来看下ViT是如何做的。

三、ViT模型架构

我们先结合下面的动图来粗略地分析一下ViT的工作流程，如下：

将一张图片分成patches；
将patches铺平；
将铺平后的patches的线性映射到更低维的空间；
添加位置embedding编码信息；
将图像序列数据送入标准Transformer encoder中去；
在较大的数据集上预训练；
在下游数据集上微调用于图像分类。

四、ViT工作原理解析

我们将上图展示的过程近一步分解为6步，接下来一步一步地来解析它的原理。如下图：

在这里插入图片描述

4.1 步骤1：将图片转换成patches序列

这一步很关键，为了让Transformer能够处理图像数据，第一步必须先将图像数据转换成序列数据，但是怎么做呢？假如我们有一张图片： $\in R^{H \times W \times C}$ ，patch 大小为 $p$ ，那么我们可以创建 $N$ 个图像 patches，可以表示为 $x_p \in R^{(p^2C)}$ ，其中 $\frac{HW}{P^2}$ ， $N$ 就是序列的长度，类似一个句子中单词的个数。在上面的图中，可以看到图片被分为了9个patches。