Vision-Transformer详解

已于 2022-02-10 16:25:39 修改
阅读量2.5k 收藏 5
点赞数 2
分类专栏： 分类网络 图像处理python 文章标签： transformer 深度学习 自然语言处理
于 2022-02-08 20:17:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/emivv/article/details/122764606
版权

引言（Transformer）

在这里插入图片描述

  • transformer一开始提出为上面这篇论文，主要应用在NLP领域。
  • 在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络， 且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。
  • 所以提出transformer，如果在硬件不受限制的情况下，他的记忆长度是无限的。而且可以做并行化。

核心模块：self-attention

在这里插入图片描述

  • 计算q,k,v在这里插入图片描述
  • 对(q*k) / np.sqrt(d)得到的a进行softmax在这里插入图片描述在这里插入图片描述
  • 用上面得到的a乘以v，如右下角的矩阵乘法所示：在这里插入图片描述
  • 多个head情况下（相当于cnn中的group卷积）：
    在这里插入图片描述在这里插入图片描述在这里插入图片描述
  • 对concat后的矩阵进行融合在这里插入图片描述
  • 位置编码的必要性（因为如果把后面的顺序打乱，不会影响前面的输出，不合理，应该全局编码，每个位置变动都会影响到其他任意位置）：在这里插入图片描述
    在这里插入图片描述

Vision-Transformer

在这里插入图片描述
在这里插入图片描述

  • 增加一个class的token是参考的BERT网络
    在这里插入图片描述
    位置编码带来的提升：
    在这里插入图片描述
    用每个位置的编码与其他位置的编码求余弦相似度如图：
    在这里插入图片描述
  • Transformer Encoder
    在这里插入图片描述
    LayerNormal可参考：https://zhuanlan.zhihu.com/p/54530247
  • 一个encoder block包括一个multi-head和MLP
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

参考：
bilibli霹雳吧啦Wz

Shashank497
关注
专栏目录
Transformer的注意力层。理解Q，K，V。交叉注意力层。全局自注意力层。因果注意力层。位置编码。多头注意力机制。
ZJQ的博客
04-08 700
我们介绍了Transformer中的三种不同的注意力层，以及注意力的实现方法，位置编码和多头注意力机制，涵盖了大部分注意力相关的知识点 Transformer利用注意力机制做出了更好的预测，从ChatGPT的成功，已经得到了验证；尽管循环神经网络RNN也试图实现类似的功能，但由于它们受到短期记忆的限制，因此在处理长序列时，特别是在编码或生成长序列时，Transformer更为出色；由于Transformer架构，自然语言处理（NLP）行业取得了前所未有的成果。
Swin-Transformer详解
走在深度学习前沿的小宋
05-24 6519
Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得的荣誉称号。虽然在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的权衡，提出了Swin-Transformer结构。
【深度学习】详解 Vision Transformer (ViT)
闻韶
07-18 11万+
【深度学习】详解 Vision Transformer (ViT)
Vision Transformer(2020)：Transformer在视觉领域的开创之作！实现NLP和CV的大一统
最新发布
m0_63294504的博客
09-17 1193
谷歌团队探索了 Transformer 在图像识别中的直接应用。Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接将图像视为一个序列化的输入，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的图块（patches），并将每个图块转换为向量表示作为输入序列。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了自注意力机制和前馈神经网络层。
一文详解Vision Transformer（附代码）
机器学习社区
01-19 3477
Transformer 在 NLP 中大获成功，Vision Transformer 则将 Transformer 模型架构扩展到计算机视觉的领域中，并且它可以很好的地取代卷积操作，在不依赖卷积的情况下，依然可以在图像分类任务上达到很好的效果。卷积操作只能考虑到局部的特征信息，而 Transformer 中的注意力机制可以综合考量全局的特征信息。Vision Trans
Vision Transformer详解
热门推荐
霹雳吧啦Wz
06-26 26万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
详解视觉Transformers
u012374012的专栏
07-16 2164
从2017年在《Attention is All You Need》中首次提出以来，Transformer模型已经成为自然语言处理（NLP）领域的最新技术。在2021年，论文《An Image is Worth 16x16 Words》成功地将Transformer应用于计算机视觉任务。从那时起，基于Transformer的各种架构陆续被提出用于计算机视觉。Transformer是一种利用注意力机制作为主要学习机制的机器学习模型，它很快成为了序列到序列任务（如语言翻译）的最新技术。
Swin Transformer详解
我的博客
04-28 7415
原创：余晓龙 “Swin Transformer: Hierarchical Vision Transformer using Shifted Window”是微软亚洲研究院（MSRA）发表在arXiv上的论文，文中提出了一种新型的Transformer架构，也就是Swin Transformer。本文旨在对Swin Transformer架构进行详细解析。 一、Swin Transformer网络架构 整体的网络架构采取层次化的设计，共包含4个stage,每个stage都会缩小输入特征图的分辨率，类似于
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 9987
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
CrossFormer：A Versatile Vision Transformer Based on Cross-Scale Transformer论文以及代码解析
Hide on bush
11-15 3957
论文地址：Cross-Transformer pytorch源码：Cross-Transformer CrossFromer最细节的论文以及代码解析1. Abstract2 . Introduction3. CrossFormer3.1. Cross-scale Embedding Layer(CEL)3.2. CrossFormer block3.2.1 Long Short Distance Attention （LSDA）3.2.2 Dynamic Position Bias4. Variants o
no.11 transformer（vision transformer）
weixin_44581312的博客
03-26 142
----------------------------------------------------------------------------------------------------------------------------------------------------------------------注意，LayerNorm和BatchNorm在这里要知道why？这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。（2017年出现在nlp领域）
详解VIT（Vision Transformer)模型原理, 代码级讲解
qq_43449643的博客
01-16 7914
详解VIT（Vision Transformer)模型原理, 代码级讲解
Vision transformer的详解
qq_43349542的博客
07-08 3741
参考: https://blog.csdn.net/qq_37541097/article/details/118242600. 这个人讲得挺好的，很适合小白 —————————————————————————————————— Embedding层结构： 对于标准的Transformer模块，要求输入的是token（向量）序列，即二维矩阵[num_token, token_dim]，如下图，token0-9对应的都是向量，以ViT-B/16为例，每个token向量长度为768。 图像是三维的【H,W,C
深度学习（10）---Vision Transformer详解
m0_62881487的博客
08-19 1161
1. Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，它将Transformer模型从自然语言处理（NLP）领域成功扩展到计算机视觉（CV）领域。2. Vision Transformer由Google Brain团队在2020年提出，该模型挑战了卷积神经网络（CNN）在视觉任务中的主导地位，证明了Transformer架构不仅在处理序列数据（如文本）方面非常有效，在处理图像数据时也能取得卓越性能。
【论文阅读】Vision Transformer 模型详解
aixiaomi123的博客
11-24 6910
关于Vision Transformer模型的详解 ，末尾附原论文下载链接以及pytorch代码。
Vision Transformer （ViT）初识：原理详解及代码
周红伟讲AI
03-12 1944
以ViT-B/16为例，使用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积来实现。通过卷积[224, 224, 3] -> [14, 14, 768]，然后把H以及W两个维度展平即可[14, 14, 768] -> [196, 768]，此时正好变成了一个二维矩阵，正是Transformer想要的。需要注意的是第一个全连接层会把输入节点个数翻4倍[197, 768] -> [197, 3072]，第二个全连接层会还原回原节点个数[197, 3072] -> [197, 768]
【论文阅读】Vision Transformer
想当咸鱼的猫
09-05 5109
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
一文解读Vision Transformer(ViT)
abbcdc的博客
03-22 2万+
Vision Transformer打破了CNN在计算机视觉领域的统治地位，仅使用一个标准的Transformer Encoder（与NLP领域中使用的Transformer相同），并在大规模数据集预训练的情况下，就能达到和CNN一样甚至更好的效果，可以说是填补了CV和NLP之间的鸿沟。
Vision Transformer模型/论文详解
m0_57459724的博客
01-16 7799
Vision Transformer 模型详解 论文链接： https://arxiv.org/abs/2010.11929 论文原文代码：https://github.com/google-research/vision_transformer timm链接：https://github.com/rwightman/pytorch-image-models 文章目录Vision Transformer 模型详解1. 前言：2. 模型结构1. patch embedding部分一、patch e
vision transformer详解
06-28
### 回答1： Vision Transformer（视觉Transformer）是一种基于Transformer架构的深度学习模型，主要用于图像分类和目标检测任务。与传统卷积神经网络不同，Vision Transformer使用了全局自注意力机制，使得模型可以更好地捕捉到不同位置之间的关系。Vision Transformer已经在ImageNet等大规模数据集上取得了优秀的性能表现，并逐渐成为深度学习领域的研究热点。 ### 回答2： Vision Transformer（ViT）是一种全新的视觉识别模型，由谷歌提出，它借鉴了自然语言处理领域中的transformer技术。ViT在图像分类、目标检测和分割等视觉任务中均有较好的效果，并且在一些任务中超越了传统的卷积神经网络（CNN）模型。 ViT模型的核心是transformer encoder和transformer decoder两大部分。transformer encoder负责将输入序列转换成特征向量，而transformer decoder则是根据特征向量生成目标输出序列。在ViT模型中，将一张图片视为一个大小为H×W的序列，然后再通过一些处理，将会得到一个大小为N的特征向量，其中每个元素代表了原图中的一个位置坐标。 ViT模型通过将一张图像划分成大小为P × P的图块，然后将每个图块拼接成一个序列，来处理整个图像。基于这样的序列表示方式，ViT将应用transformer架构对序列进行处理，以生成特征表示。同时，由于传统的transformer是为自然语言处理领域设计的，所以需要对其进行一定的调整，才能适用于图像处理任务。因此，ViT引入了一个叫做“patch embedding”的操作，它将每个P × P的图块映射成一个特征向量，然后再进行transformer处理。 除此之外，在ViT模型中还使用了一些其他的技术来提升模型的性能，包括：1）将transformer encoder中的自注意力替换为多头注意力，以增加模型的并行性和泛化性；2）在每个transformer block中应用残差连接和归一化，以加速训练、提高稳定性和精度；3）引入了一个分类头，用于将特征向量转换为最终的输出类别概率。这些技术的应用均使得ViT模型在视觉识别任务上表现出了很好的效果。 总之，ViT模型是一种基于transformer架构的新型视觉识别模型，它采用多头注意力、残差连接等技术，将图像视为序列，利用transformer encoder和transformer decoder对序列进行处理，并最终输出目标类别概率。相比于传统的CNN模型，在一些任务中ViT具有更优秀的表现，有望成为未来视觉处理领域的新趋势。 ### 回答3： Vision Transformer（ViT）是谷歌的一款新型视觉模型，与传统的卷积神经网络（CNN）不同，ViT是由注意力机制（Attention Mechanism）组成的纯粹Transformer模型。Transformer源于自然语言处理领域，它能解决文本序列问题，但对于图像数据来说，采用Transformer是一个全新的尝试。 ViT将图像分割成固定数量的块（例如16*16），每个块被视为一个向量。这些向量然后传递给Transformer编码器，其中包括多层自注意力机制。通过学习这些向量之间的相互作用，模型能够提取出各个块之间的关键信息。最后，全连接层通过分类器将最终向量映射到相应的类别。 相较于传统CNN，ViT的明显优势是无需人工设计的特征提取器，这使得模型更具通用性，适用于各种视觉任务，并且能够处理多种分辨率和大小的图像。同时，attention机制带来的优点也让ViT在处理长时间序列信息时表现突出。 然而ViT在使用时还存在一些挑战。由于图像信息需要被分割成固定大小的块，因此对于具有细长结构的对象（如马路、河流等），模型很容易将它们拆分为多个块，导致信息的丢失。此外，由于向量长度的限制，ViT的处理能力存在局限性。 在处理大规模数据时，ViT还需要面对计算资源的挑战。为解决这一问题，研究人员提出了一系列改进算法，如DeiT、T2T-ViT、Swin Transformer等，它们能够更好地处理大规模图像数据。 总的来说，Vision Transformer模型是一种全新的尝试，它使用自注意力机制构建纯Transformer模型来处理图像数据。虽然存在一些性能挑战，但随着技术的不断进步和改进算法的诞生，ViT模型必将成为图像处理领域的重要一员。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Shashank497

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值