Vision transformer学习笔记

已于 2023-07-03 09:35:36 修改
阅读量5.1k 收藏 11
点赞数 2
分类专栏： 深度学习基础 文章标签： transformer 学习 笔记
于 2022-04-14 17:28:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36936443/article/details/124177123
版权

1. transformer基本架构

在了解cv中的transformer之前，我们先来复习一下transformer的基本架构

1.1 编码器与解码器

我们可以将网络分成两个部分，编码器与解码器。

        编码器：将输入编程成中间表达形式（抽取特征）

        解码器：将中间表示（特征）解码成任务需要的输出

从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。

对应到CNN，就是说前面使用卷积层进行特征抽取称为编码器，后面将抽取的特征变为所需的输出称为解码器。

对应到RNN中对文本进行处理，同样可以分为编码器和解码器

我们将上述结构抽象成一个更一般的结构

一个模型被分成两块：

        解码器处理输入

        解码器生成输出

1.2 transformer块

2. vision transformer

        Vision Transformer(ViT)是视觉Transformer的开山之作，其开创性的工作是：纯粹地使用了标准的transformer结构（简单、扩展性很好），实现了能够媲美CNN中SOTA模型的效果（在这之前也有一些工作与它想法类似，但效果很差，VIT论文中给出的解释是transformer 没有像CNN那样包含图片的归纳偏置，因此，需要给它喂很大量的数据做训练，让它自己学到充分的特征，效果才能好）。

        回忆一下，在transformer里面计算自注意力时，我们是将一个可变长的序列传进去，每个元素都要跟每个元素去做互动，算得一个注意力得分，也就是一个自注意力图，然后用这个自注意力图去做加权平均，最后得到输出，因为每个元素之间都要做互动，所以这个计算复杂度是跟序列长度n成平方关系的，目前硬件能支持的序列长度，一般也就是几百或者上千，如在bert模型中，序列长度也就是512。

        换到视觉领域，如果想使用transformer的话，需要解决的第一个问题就是，如何把二维的图片变成一维的序列。

        最直观的方式就是把图片按像素点拉直成一维的，但这样计算复杂度太高，比如我们做图片分类的一般大小是224x224，拉直以后序列长度就是224x224=50176，已经接近bert的100倍，显然是不可行的。

那么怎么去降低序列长度呢？

        vision transformer之前在视觉领域里使用注意力机制

                1. 将注意力机制加到cnn里面，比如SE模块、PAM模块、BEAM模块，他是使用特征图作为输入，如resnet50最后一层特征图大小7x7，拉皮以后长度也只有49，就降低了这个序列长度

                2. 孤立自注意力：类似于卷积，计算注意力的时候，不对整个图片一起计算，而是选择一个小窗口，基于这个局部窗口去计算，这样复杂度也降低了

                3. 轴自注意力：先在高度这个维度上做一次自注意力，再在宽度这个维度上做一次自注意力

        对于第一种方法，本质上主体还是卷积神经网络，只是加了一些插件，对于后两种方法，虽然理论计算复杂度很低，但由于尚未针对性在gpu硬件上做一些计算优化，因此很难能用这两种思路训练出一个大模型

        vision transformer的想法就是把224x224的图片打成一个个16x16大小patch，然后每个patch作为一个基本元素，这样W=H=224/16=14，拉直以后的序列长度就只有14 x 14 = 196了，这样就直接可以将原图传进transformer进行训练了

        224x224大小的RGB图片，拆分成16x16的patch，每个patch的维度就是16x16x3=768，总序列维度就是196x768，实现起来也很简单，就是对图片做一个 kernel_size = stride = 要拆分的patch大小，out_channle=768的卷积操作就可以了

代码实现

class PatchEmbed(nn.Module):
    """
    2D Image to Patch Embedding
    """
    def __init__(self, img_size=224, patch_size=16, in_c=3, embed_dim=768, norm_layer=None):
        super().__init__()
        img_size = (img_size, img_size)
        patch_size = (patch_size, patch_size)
        self.img_size = img_size
        self.patch_size = patch_size
        self.grid_size = (img_size[0] // patch_size[0], img_size[1] // patch_size[1])
        self.num_patches = self.grid_size[0] * self.grid_size[1]


        self.proj = nn.Conv2d(in_c, embed_dim, kernel_size=patch_size, stride=patch_size)
        self.norm = norm_layer(embed_dim) if norm_layer else nn.Identity()


    def forward(self, x):
        B, C, H, W = x.shape
        assert H == self.img_size[0] and W == self.img_size[1], \
            f"Input image size ({H}*{W}) doesn't match model ({self.img_size[0]}*{self.img_size[1]})."


        # flatten: [B, C, H, W] -> [B, C, HW]
        # transpose: [B, C, HW] -> [B, HW, C]
        x = self.proj(x).flatten(2).transpose(1, 2)
        x = self.norm(x)
        return x

  1. 先将batchsize x 224x244x3的图片打成16x16大小的patch，得到b x 196x768(b是batch_size的维度)的向量

  2. 再经过一个全连接层(768x768)做线性投影，还是一个bx196x768的向量

  3. 参照NLP中的bert模型，加上一个extra learnable class embedding作为class token(1x768)，向量变为bx197x768，在给每个位置都加上一个位置编码P，向量变为bx197x768，传进transformer块

  4. 先经过一个LN，向量维度仍为bx197x768，再经过一个多头自注意力和残差连接 ，向量维度仍为bx197x768，再经过LN后，经过第一个全连接层(768x3072，扩大四倍)，向量维度变为bx197x3072，再经过第二个全连接层(3072x768)，向量维度变回bx197x768，最后再跟一个残差连接，向量维度仍为bx197x768。

  5. 经过L次上述的transformer块后，只取第0位class token位置对应的向量作为特征（bx1x768），像CNN做分类任务一样，接一个全连接层后接softmax最后得到分类

根据参数的不同VIT有小、中、大三个版本

一些实验和讨论：

  1. class token：使用class token是为了和nlp中的方式保持一致，也可以像cnn那样，对所有的特征做一个全局平均池化（将197x768池化成1x768），再传进全连接层进行分类，可以看到，在调好参的情况下，区别不大

        2. 位置编码使用一维、二维或相对位置编码区别不大

        3. transformer没有内含任何的归纳偏置，位置编码也是随机初始化的(只保证了每个位置的值不一样)，所有的信息都得从头学，因此在中小数据集上的表现不如CNN，但注意力机制关注的是全局信息，它具有强大学习能力和扩展性，所以在更大数据集上表现更好

        4. 混合模型：前面是将图片打成patch缩小尺寸，混合模型直接利用CNN来缩小尺寸，即将CNN的特征图作为输入传入transformer。

在计算量相同的情况下，对于更小的模型，混合模型表现好于VIT，但对于更大的模型，区别不大

        5. CNN在微调的时候如果使用更大的图片尺寸，通常效果会更好一些，但VIT难以改变输入尺寸的大小。虽然transformer可以处理任意长输入，但位置编码矩阵具有明确的信息，如果图片变大了，patch_size不变，那么你可能得到更多的patch，这时需要对位置进行插值。（如果图片大小差距过大，这样直接简单插值，会导致模型效果变差）

        6. 做自监督预训练，简单来说就是对图片的一些patch随机打上马赛克，去预测这些patch，使用这种方式去做预训练，但在VIT这篇论文中实验效果一般（一年以后，也就是去年，MAE模型在这上面取得了突破）

        7. 在更大的数据集上（JFT或imagenet21K）做预训练，再在别的数据集上做微调，效果更好，训练起来更便宜（相对来说，使用一个TPUv3训练需要2500天），证明了transformer在CV上同样具有和在nlp领域中一样的强大的学习能力

【第30篇】Vision Transformer
AI浩
03-23 2925
摘要 虽然 Transformer 架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。 在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。 我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯变换器可以在图像分类任务上表现得非常好。 当对大量数据进行预训练并转移到多个中型或小型图像识别基准（ImageNet、CIFAR-100、VTAB 等）时，与 state-of-the- 相比，Vision Transformer (.
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 6973
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
视觉Transformer中的输入可视化方法
python12222_的博客
07-26 531
本文介绍了一种鲁棒的视觉Transformer输入可视化方法，实验结果表明该方法对于多种不同Transformer架构的模型都有良好的可视化效果，目前这项技术广泛的应用于百度内容理解和风控相关业务中，帮助研究人员构建效果更好的模型。本文方法主要考虑了Transformer中的token对应q、k之间的self-attention值对于分类决策的影响，后续可以进一步研究将token对应的v值也纳入可视化考量中，构造更加准确、鲁邦的视觉Transformer可视化方法。
全面解读视觉大模型-视觉Transformer原理、应用、优缺点以及未来发展趋势
2401_84206094的博客
03-08 1341
视觉大模型，也称为视觉Transformer，是近年来计算机视觉领域的一大突破。这种模型在图像识别、目标检测、语义分割等任务中表现出色，成为深度学习领域的研究热点。本文将通过万字长文，对视觉大模型进行全面解读，包括其原理、应用、优缺点以及未来发展趋势。
视觉Transformer开山之作：Vision Transformer(ViT)论文解读与复现
AI训练师中的点滴
12-17 6812
介绍了VIT的结构及其复现
Vision Transformer(2020)：Transformer在视觉领域的开创之作！实现NLP和CV的大一统
m0_63294504的博客
09-17 1753
谷歌团队探索了 Transformer 在图像识别中的直接应用。Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接将图像视为一个序列化的输入，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的图块（patches），并将每个图块转换为向量表示作为输入序列。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了自注意力机制和前馈神经网络层。
Vision Transformer结构与代码详解
最新发布
weixin_45679938的博客
03-20 895
在图像分类中，Vision Transformer （ViT）主要包括几个阶段。在图像分类任务中，重点在于提取图像的整体特征以判断类别，编码器足以完成特征提取的任务，所以无需解码器。
Vision Transformer学习笔记
nuojiacoming的博客
07-29 796
尽管Transformer架构已经成为自然语言处理任务的标准，其在计算机视觉领域的应用仍然受限。在视觉领域，注意力不仅被应用在卷积网络的联接，同时也在保证总体结构情况下替换某些卷积网络的主要组成部分。我们展示了这种对于CNNs的依赖不是必要的，并且一个完全纯净的transformer可以直接被应用在一系列的图像补丁上并在图像分类任务上表现良好。当在大量数据上进行预训练或者转化为大量中型或小型图像时，Vision Transformer 相较于卷积网络表现出优秀结果，同时在训练时需要较少的计算量。
【深度学习】Vision Transformer 学习笔记
qq_45218240的博客
03-20 876
解读vision transformer并详细注释代码细节
Vision Transformer学习笔记（2020 ICLR）
朴实无华的研究生活
02-08 889
本文介绍了一种名为Vision Transformer (ViT)的新模型，该模型直接将Transformer应用于图像识别任务。不同于以往在计算机视觉中使用自注意力机制时引入特定于图像的归纳偏差，ViT将图像视为一系列补丁，并通过标准Transformer编码器处理这些补丁。实验表明，当在大规模数据集上进行预训练时，ViT在多种图像分类基准上取得了与最先进的卷积神经网络相当甚至更好的结果，同时所需的计算资源更少。
第6周学习笔记：Vision Transformer & Swin Transformer学习
usdkey的博客
08-19 653
该模型将Transformer结构直接应用到图像上，即将一张图像分割成多个patches，这些patches看作是NLP的tokens (words)，然后对每个patches做一系列linear embedding操作之后作为Transformer的input。
Vision Transformer
qq_43160529的博客
07-13 1113
关于Vision Transformer的介绍
ViT：Transformer在CV领域的开山之作
pengxiang1998的博客
03-09 2171
我们都知道，Transformer作为NLP算法的一员，擅长两者预测，分别是完形填空式与给出前句预测后句这两种类型，无论是那种，其处理的都是文本，抑或是一个序列，且由于序列长度的限制，其最佳为256，为了证明Transformer的通用性，那么将其转入计算机视觉时我们依旧是想将其转换为序列形式，这就产生了一个问题，如果是将图像按每个像素转换为扁平的一维序列，那么其长度是极大的，总所周知，Transformer的核心便是自注意力机制的引入，而自注意力机制便是将所有元素进行内积求权重，这是n。
【计算机视觉】Vision Transformers算法介绍合集（一）
wzk4869的博客
09-16 871
【计算机视觉】Vision Transformers算法介绍合集（一）
Vision Transformer（学习自用）
JJxXxLL的博客
07-07 1772
学习自用
Vision Transformer及其变体（自用）
对cv的学习之路
10-25 619
主要是对vit的学习，仅自用
Transformer
qq_58317297的博客
08-05 1183
2、Transformer是由编码器和解码器组成，与基于Bahdanau注意力实现的序列到序列的学习相比，Transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的。6、多头注意力融合了来自于多个注意力汇聚的不同知识，这些知识的不同来源于相同的查询、键和值的不同的子空间表示；在计算编码器的自注意力时，查询、键和值都来自前一个编码器层的输出；1、基于位置的前馈网络对序列中的所有位置的表示进行变换时使用的是同一个多层感知机（MLP），这就是称前馈网络是。
解决处理图像时形状不匹配问题
m0_47610369的博客
03-01 1021
经检查是输入图像是灰度图像，单通道，而期望图像是三通道的。方法将图像转换为RGB格式。这是使用了PIL库的。
【图像分类】Vision Transformer理论解读+实践测试
热门推荐
兴趣使然的创作者
08-05 1万+
Vision Transformer是2021年谷歌在ICLR上提出的算法，算法原理并不复杂，但是其价值是开创性的。它首次将NLP领域火热的Transformer模型架构移植到了CV领域，打破了这两个领域壁垒，并取得不错的成效。论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale。...
霹雳啪啦wz学习笔记vision transformer
03-18
<think>好的，用户想了解关于Vision Transformer（ViT）的学习资料和笔记。首先，我需要整理ViT的基础知识，确保覆盖其核心结构和关键概念。根据提供的引用，ViT将Transformer架构应用于计算机视觉，特别是图像分类任务。需要提到编码器、解码器部分，不过根据引用[1]，ViT主要基于Transformer的编码器结构，这可能与原始Transformer不同。 接下来，用户可能需要学习资料，包括论文、GitHub代码库和教程。引用[2]提到了Google Research的GitHub仓库，应该推荐这个。另外，用户可能对ViT的工作原理感兴趣，比如如何处理图像数据。传统CNN会先提取特征图，ViT则通过分块（patches）将图像转换为序列，如引用[3]所述。需要解释分词器的作用，将图像分块并线性嵌入成标记序列，然后输入Transformer编码器。 还要注意比较ViT与CNN的差异，强调自注意力机制的优势。可能的问题包括ViT的计算效率、训练数据需求，以及应用场景。用户可能想知道如何实现ViT，所以需要提供代码示例或库的链接。此外，引用中的资料可以作为主要参考文献，确保引用标识正确。 最后，生成相关问题时，要考虑用户可能的后续疑问，比如ViT的优化方法、与CNN的结合，或者在不同任务中的应用。需要确保回答结构清晰，分点说明，并推荐可靠资源，帮助用户深入学习。</think>### Vision Transformer (ViT) 学习笔记 #### 1. **核心思想** Vision Transformer (ViT) 将Transformer架构应用于图像分类任务，通过将图像分割为固定大小的块（patches），并将这些块线性嵌入为序列输入Transformer编码器[^1][^3]。与传统CNN不同，ViT直接利用自注意力机制捕捉全局依赖关系。 #### 2. **关键步骤** - **图像分块**：将输入图像 $x \in \mathbb{R}^{H \times W \times C}$ 划分为 $N$ 个块，每个块大小为 $P \times P$，得到 $N = \frac{HW}{P^2}$ 个块。 - **线性嵌入**：将每个块展平为向量 $x_p \in \mathbb{R}^{P^2C}$，并通过可学习的线性层映射为 $D$ 维向量。 - **位置编码**：添加可学习的位置嵌入（position embedding）以保留空间信息： $$ z_0 = [x_{\text{class}}; x_p^1E; x_p^2E; \dots; x_p^NE] + E_{\text{pos}} $$ 其中 $E \in \mathbb{R}^{(P^2C) \times D}$ 为嵌入矩阵，$E_{\text{pos}}$ 为位置编码。 - **Transformer编码器**：由多头自注意力（MSA）和前馈网络（FFN）交替组成，公式为： $$ z'_l = \text{MSA}(\text{LayerNorm}(z_{l-1})) + z_{l-1} $$ $$ z_l = \text{FFN}(\text{LayerNorm}(z'_l)) + z'_l $$ 最终输出用于分类[^1][^2]。 #### 3. **与CNN的对比** - **优势**：ViT通过自注意力捕获长距离依赖，无需局部卷积归纳偏置，适合大规模数据场景。 - **局限**：小规模数据训练效果可能不如CNN，需大量预训练数据（如JFT-300M）。 #### 4. **学习资料推荐** - **论文**：[*An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale*](https://arxiv.org/abs/2010.11929) - **代码实现**：Google Research官方GitHub仓库 [vision_transformer](https://github.com/google-research/vision_transformer) - **教程**： - [PyTorch实现ViT](https://pytorch.org/vision/stable/models/vision_transformer.html) - 李宏毅《深度学习》课程中Transformer与ViT章节 #### 5. **代码示例（简化版）** ```python import torch from torchvision.models import vision_transformer # 加载预训练ViT模型 model = vision_transformer.vit_b_16(pretrained=True) # 输入图像分块处理 x = torch.randn(1, 3, 224, 224) # 输入尺寸需为224x224 output = model(x) # 输出分类结果 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值