Vision Transformer细节理解

已于 2022-03-25 16:16:15 修改
阅读量5.7k 收藏 5
点赞数 4
文章标签： ViT transformer
于 2022-03-25 16:12:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41790863/article/details/123732200
版权

Vision Transformer细节理解

Transformer模型架构图

首先来看一下Transformer模型的架构图，因为Vision Transformer是Transformer模型在CV领域的应用，所以在学习ViT模型之前有必要了解一下Transformer的基础架构。关于Transformer架构的基础知识可去B站观看这个视频。
在这里插入图片描述Transformer由两个部分组成，一个是编码端(左半部分)，一个是解码端(右半部分)。对于编码端来说，输入字符Inputs转化为对应的数字，再由数字转化为Input Embedding，然后和对应的Positional Encoding相加，组成了最终的Inputs Embedding。然后这个输入流经多头注意力层，再流经前馈神经网络，堆叠N个后最终输出。

Patch+Position Embedding

由于ViT模型中只使用了编码端，所以我们重点看一下编码端，主要做的是如何把编码器放入CV任务中。

在NLP中，将原始字符转换为数字，再对每个数字进行embeding，在和Positional Embedding相加，解决了输入的问题。
在这里插入图片描述
那么现在的问题是，一张图片如果想输入到这个模型中，应该怎么融入进去呢？
在这里插入图片描述要把左边的这张图片放进右边的模型架构中去，那么最核心的思想一定是把图片仿照着NLP中的方式转换成一个一个的token，那么怎么转化成一个一个的token呢？

一个非常朴素的思想是这样的，将一个图片(假设是单通道)的每一个像素点当做一个token，再把每个像素点对应的token转化为各自的embedding(可能不准确，但是差不多)，和对应的位置编码进行相加不就解决了一个图片输入转换为token的问题吗？
在这里插入图片描述但这样的话，会遇到一个非常严重的问题，就是复杂度的问题。一张单通道224224大小的图片，如果每一个像素点都当做一个token的话，序列长度将变成224224=50176，即Transformer模型输入那里变成了50176的大小，相当于BERT的100倍。这个长度太大了，由长度就会导致参数量的问题，长度太大参数量也将会非常大，这是我们所不能承受的。
在这里插入图片描述针对复杂度的问题，我们怎么处理呢？
在这里插入图片描述这几种改进方式其实都可行，都有论文发表出来，但是实施起来比较复杂。我们其实想得到一个简单的方式去处理这个问题，那么一个非常简单的方式就是把整个图像化整为零，切分为patch。
在这里插入图片描述相当于减少了输入的长度。

现在可以看一下ViT论文中的模型了。
在这里插入图片描述模型中的数据流转如下图所示：
在这里插入图片描述为什么要加入一个CLS符号呢？
在这里插入图片描述简单的意思是说，减少对原始Transformer模型的更改，所以加上了CLS。潜在的意思是说，原始的Transformer在训练的时候是带有CLS符号的。这句话的解释其实是不太正确的。

CLS符号的出现不是在原始的Transformer模型中，而是在NLP中的一个预训练模型-BERT中。
其实。整个Transformer在整合输出信息的时候，有多种方式。
在这里插入图片描述BERT中为什么使用了CLS符号呢？
在这里插入图片描述在这里插入图片描述所以在论文中有这样一个实验结果：
在这里插入图片描述Transformer模型为什么需要一个位置编码？
在这里插入图片描述

为什么需要位置编码？

在这里插入图片描述

在这里插入图片描述
就是告诉模型哪个图像的patch在前面，哪个图像的patch在后面。
在这里插入图片描述

为什么位置编码可以和patch embedding相加？

在这里插入图片描述

位置编码究竟有没有作用呢？

在这里插入图片描述

Transformer Encoder

在这里插入图片描述整体再串讲一遍：
在这里插入图片描述

参考文献

  • https://www.bilibili.com/video/BV1Uu411o7oY?spm_id_from=333.999.0.0
  • 代码实现可看我的这个博客。
【18】Vision Transformer：笔记总结与pytorch实现
Clichong
07-29 2906
下面借这篇blog记录一些阅读笔记，如果问题，恳请指出。 前言 paper原文：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 一开始，Transformer在Attention is all you need这篇paper中提出，解决的自然语言中的序列问题，也就是将自然语言的word变成一个sequence问题，但是有效的解决了RNN的无法并行处理的问题，并且其可以考虑全局的咨询，而self-atte.
Vision Transformer 全面代码解析
强化学习曾小健
08-20 1039
注意力机制允许模型在处理输入序列时，关注到最重要的部分，而多头自注意力则通过多个独立的注意力头来同时关注不同的特征子空间，提高了模型的表达能力。虽然我们已经完成了VisionTransformer的所有代码分析和搭建过程，但为了让模型更加易于使用和调用，我们还需要对其进行进一步的封装。在完成了所有必要模块的创建之后，我们现在要做的就是将它们组合起来，构建我们的VisionTransformer模型。在这些阶段，模型的输出是基于所有路径的贡献，而不是被随机“丢弃”了一些路径的情况。，以提高模型的泛化能力。
Vision Transformer在ＣＶ领域的理解
Colin_xuan的博客
02-26 962
最近这玩意比较火，找了好多资料和源码研究了下，写下这篇读后感 在CV领域是怎么用呢？ 1 CNN backbone 处理的是 [B,3,H,W] 图像，经过层层提取特征，输出是[B,C,H,W],backbone 只做这一件事。 2 Encoder部分： 先用1X1 卷积，将通道数从C 压缩到D,得到新的特征图[B,D,H,W] 将[B,D,H,W]的空间维度（高和宽）压缩成一个维度，得到序列化数据【B,D,HW】 在得到了【Ｂ，Ｄ，Ｈ，Ｗ】特征图之后...
[CLS] Token 在 ViT（Vision Transformer）中的作用与实现
最新发布
weixin_46044901的博客
03-25 1076
在 ViT 中，输入图像被划分为多个固定大小的 Patch（如 16×1616 \times 16 像素），然后每个 Patch 被投影到一个 DD 维的特征向量空间，形成 Token 序列。，这样 [CLS] Token 就能聚合所有 Patch Token 的信息。在每一层 Transformer 中，[CLS] Token 作为 Query，与所有 Token（包括自己）进行注意力计算。[CLS] Token 在 ViT 中是关键组件，决定了模型的分类性能，但研究也表明它并非唯一的最佳选择。
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
热门推荐
IT菜鸟
10-15 4万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
Vision Transformer理论＋PyTorch代码全解析（附图解）
qq_52191127的博客
08-28 2677
前几年CV领域的Vision Transformer将在NLP领域的Transormer结果借鉴过来，屠杀了各大CV榜单。本文将根据最原始的Vision Transformer论文，和GitHub上star最多的Pytorch代码实现，将整个ViT的代码做一个全面的解析。 对原Transformer还不熟悉的读者可以看一下Attention is All You Need原文。
Vision Transformer(vit)原理分析以及特征可视化
z240626191s的博客
08-29 2万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
vision transformer预训练
12-06
training of Vision Transformers）是由中国科学技术大学和微软亚洲研究院合作提出的，它改进了BEiT的方法，引入了感知码本，更好地捕捉语义信息，即使图像发生微小位移，模型也能保持对语义的理解。PeCo还采用了VQ-...
视觉Transformer：图像识别的新视角 （Vision Transformer: A New Perspective for Image Recognition）
qq_35480722的博客
03-07 578
本文展示了直接将Transformer应用到图像识别中的可行性，特别是通过大规模预训练显著提高了其在复杂图像识别任务上的性能。这为未来在计算机视觉中的应用提供了新的方向。目标: 将Transformer架构直接应用于图像识别任务，而不需要依赖卷积神经网络(CNN)。主要贡献: 证明了纯Transformer可以直接处理图像patch序列，并在大规模预训练后取得优秀的图像分类性能，同时在计算资源需求上优于传统CNN。应用场景。
SiT : Self-supervised vision Transformer
qq_47896523的博客
06-03 1223
自监督预训练可以显著提高下游任务的性能 [1]，[16]。在语音识别 [17] 和计算机视觉应用 [18]、[19]、[20]、[21] 中也观察到了类似的趋势。自监督预训练，特别是与 Transformer [22] 结合使用，是 NLP [1]、[16] 的首选模型。SSL 的成功是以海量数据集和大容量模型为代价的。视觉 Transformer 的预训练主要使用监督学习的超大规模数据集，例如由数亿个标记样本组成的数据集 [3]。
（自用）Vision Transformer、Transformer、Swim Transformer
qq_44185614的博客
01-12 1852
vector进入到Masked Multi-Head Attetion，Masked的意思是，我们在做self-Attetion layer时，这个decoder只会attend到它已经产生出来的sequence上。Patch Merging操作将相邻的小块合并为更大的块，以便在后续层级中对更大的块进行处理。是一种操作，用于将图像的分块表示合并为更大的块。Add & Norm操作，Feed Forward，再是Add & Norm，Linear和softmax，得到最终的output。
（pytorch进阶之路四）Vision Transformer
qq_19841133的博客
07-07 1424
Vision Transformer 用的是Encoder only类型，主要用的就是Transformer Encoder模块VIT的想法就是将Transformer应用到图像识别上去但是直接应用有个问题，NLP是单词为单位，一句话的词数还是比较少的，但是图片的基本单位是一个个像素点，数量多得多，导致计算量会非常的大。图片的一个像素点不包含多少信息量，对于图片它的信息量主要还是聚焦在一小块区域上。直接的想法就是将很多的像素点组成块，图像分成很多个块，将图像块当作一个token送入到transformer中
CV-Model【6】：Vision Transformer
BUPTer
10-08 2811
或称ViT，是一种用于图像分类的模型，在图像的补丁上采用了类似的结构。一幅图像被分割成固定大小的斑块，然后对每个斑块进行线性嵌入，添加位置嵌入，并将得到的向量序列送入一个标准的编码器。为了进行分类，使用了向序列添加额外的可学习"分类标记"的标准方法虽然架构已成为 NLP 任务的事实标准，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。
ViTGAN：用视觉Transformer训练生成性对抗网络 Training GANs with Vision Transformers
白洞，白色的明天在等着我们
05-02 4543
不使用卷积或池化，能否使用视觉 Transformer 来完成图像生成任务？更具体而言：能否使用 ViT 来训练生成对抗网络（GAN）并使之达到与已被广泛研究过的基于 CNN 的 GAN 相媲美的质量？
【Transformer】CLS（classification）有什么用？
Drug discovery
10-06 3万+
CLS]就是classification的意思，可以理解为用于下游的分类任务。 一句话理解：【CSL】就是一个向量，只是不是某一个字的向量，是一个够代表整个文本的的语义特征向量，取出来就可以直接用于分类了。 意思就是它是代表整个语句的标签，代表该语句是什么含义（褒贬义/正确错误....）而不是仅仅代表一个单词的含义 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为
Transformer中[CLS] 标记的概念
weixin_51302377的博客
12-12 2040
总的来说，[CLS] 是Transformer模型中一个关键的标记，通过捕获全局语义，支持多种任务的实现，尤其适合分类和多模态任务。[CLS] 标记的嵌入向量经过自注意力机制后，能够聚合整个输入序列的全局信息，因此常用于分类任务或序列级别的表示学习。在多模态模型中（如HAMMER），[CLS] 嵌入被用作融合了多模态信息的全局表示，用于多标签分类、二分类等任务。在BERT等模型中，[CLS] 的最终嵌入通常被送入特定的分类头，用于执行任务（如分类、回归等）。[CLS] 通常固定添加在输入序列的最前面。
5分钟理解transformer模型位置编码
u013853733的博客
08-07 1万+
Bert模型是自然语言处理方面程碑式的进步，核心是transformer层, 而transformer是自注意力编码器，循环网络天生的文字顺序信息在自注意力编码器中没有了，而语言往往是顺序不同意思相差很大。所以transformer的作者设计了一个位置编码方式，为每个不同位置的token ...
Transformer
weixin_41677138的博客
10-03 1417
transformer
Vision Transformer原理及模型学习笔记
m0_59324917的博客
05-27 2352
Vision Transformer是一种加入了self-attention的Sequence to Sequence model。 Vision Transformer源码VIT源码 处理sequence最常用的就是RNN，它的输入是一串vector sequence，输出是另一串vector sequence。如果是singedirectional的RNN，输出时，默认，，，都已经看过了。如果是bi-directional的RNN，输出时，默认，，，都已经看过了。但RNN有一个问题：不能并行化（h.
vision transformer发展
12-26
Vision Transformer (ViT)是一种基于Transformer架构的图像处理模型，它最初由Google团队在2021年的论文《ImageNet Classification with Vision Transformers》中提出。相较于传统的卷积神经网络（CNN），ViT将输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值