Swin Transformer与Vision Transformer的不同设计

已于 2022-05-11 16:50:31 修改
阅读量654 收藏 2
点赞数
分类专栏： Vision Transformer 文章标签： transformer 深度学习 人工智能 pytorch 计算机视觉
于 2022-05-11 16:49:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sircollector/article/details/124713291
版权

Swin Transformer与Vision Transformer的不同设计

图片分割

  • Swin使用一个卷积层进行分割，卷积层的滑动补偿等于核的尺寸，因此图片每个像素不会重复框选，卷积核数等于embedding编码长度，同时完成分割与掩码
  • Vision先老老实实地分割，并把每个patch的像素如（3, 16, 16）拉平，再接入mlp中转化为预定的embedding长度

cls_token

  • Swin不用cls_token，最后使用全局池化产生送入mlp中的向量
  • Vision可以使用cls_token，最后直接将cls_token提取出来送入mlp中，也可以选择不用

位置编码

  • Swin采用二维的相对位置编码，而且是在QK求完内积得到注意力分数之后作为偏置加在注意力分数上的，此后才做softmax处理。
  • Vision采用一维的绝对位置编码，在对图片切割为patches并embedding，再并上cls_token后进行一维绝对位置编码
  • Swin在在对图片切割为patches并embedding后，不适用cls_token，可选择添加绝对位置编码

attention层

  • Swin规定了头数与且QKV总的向量长度应与embdiing长度相等，因此每个头的QKV向量长度为embdiing长除以头数，经过多头自注意力后拼接各个头的V，得到的V向量的长度即为embedding长度，以此来保证embedding长度经过自注意力处理后不发生改变
  • Vision规定了头数和每个头的QKV向量长度，这样比较灵活，经过多头自注意力后拼接各个头的V，经过mlp将得到的V向量的长度转化为embedding长度，以此来保证embedding长度经过自注意力处理后不发生改变
Libertaz
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Swin transformer
10-30
Swin Transformer 的主要贡献是引入了 Hierarchical Vision Transformer 结构，该结构可以在不同尺度下进行建模，并且与广泛的视觉任务兼容。该结构包括 Patch Partition、Patch Merging、Layer l 层和 LayerNorm 层...
Swin-Transformer（code and 论文）.zip
12-29
论文“Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”详细阐述了Swin-Transformer的设计理念和实现方法。其中，关键创新点包括： 1. **层次结构**：Swin-Transformer采用了类似于CNN...
第6周学习：Vision Transformer &amp； Swin Transformer
weixin_45351699的博客
08-19 1201
Vision Transformer & Swin Transformer
图像分类篇章-4-transformer，Vision TransFormer，swinTrans
weixin_39025495的博客
03-28 1579
transformer： RNN：记忆长度比较短。 transformer：记忆长度无限长 结构： 核心：Attention的公式 首先使用embedding层： embedding层是全连接层的一个特例。设输入向量为x，全连接层的权重参数矩阵为W，则该层的输出向量为y=Wx；只是在embedding层中，x为one-hot向量，例如：[0,1,0,0,0]，则线性变换就退化成了一个查表操作。 第一步： 第二步： ...
计算机视觉算法——Vision Transformer / Swin Transformer
热门推荐
weixin_44580210的博客
04-05 1万+
9. Transformer Transformer来源于2017年的一篇论文《Attention Is All You Need》，Transformer的提出最开始是针对NLP领域的，在此之前，NLP领域里使用的主要是RNN、LSTM这样一些网络，这些网络都存在一些问题，一方面是记忆长度有限，另一方面是无法并行，而Transeformer理论上记忆长度是无限长的，并且可以做到并行化。 9.1 网络结构 9.2 关键知识点 9.2.1 Self-Attention Self-Attention是Trans
Vision Transformer和Swin Transformer梳理
weixin_43329973的博客
08-18 530
注重理解，学习基本的Transformer算法
Transformer & Vision Transformer
m0_74043494的博客
12-03 211
transformer输入的是一个序列数据，也就是词向量，然后对每个词向量都会添加一个位置编码，来让transformer得到词向量的位置信息，因为tansformer是基于self-attention的，而self-attention是感知不到位置信息的，self-attention会将各个词都计算他们之间的attention值，因此如果不添加位置编码，transformer充其量只能做一个词袋模型，无法做到充分理解语义信息。Encoder block是由6个encoder堆叠而成，Nx=6。
字符识别-基于Swin-Transformer实现的OCR字符识别算法-附项目源码-优质项目实战.zip
最新发布
04-29
Swin-Transformer通过引入窗口自注意力机制解决了这个问题，使得Transformer可以有效地应用于不同尺度的图像处理任务，如图像分类、目标检测和语义分割等。 在OCR领域，Swin-Transformer的应用主要体现在对图像中的...
Swin-Transformer
08-20
虽然Vision Transformer (ViT)在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的...
第八次组会PPT_Vision in Transformer
04-23
【Vision Transformer】(ViT) 是深度学习领域中一种创新性的模型，它源自于Transformer架构，最初被广泛应用于自然语言处理（NLP）任务。尽管Transformer在NLP中取得了显著的成功，但在计算机视觉（CV）领域的应用却...
第6周学习：Vision Transformer & Swin Transformer
WKX_5的博客
08-19 2259
第6周学习：Vision Transformer & Swin Transformer
Transformer变种—Swin Transformer
Zosse的博客
08-25 2606
论文名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows原论文地址： https://arxiv.org/abs/2103.14030这篇文章很厉害，是ICCV 2021 best paper，读了之后四舍五入我也会变厉害本文大量参考，仅供自我学习使用，博主有视频，讲的贼明白~...
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
weixin_46687145的博客
12-05 957
计算机视觉建模长期以来一直由卷积神经网络(cnn)主导。从AlexNet[39]和它在ImageNet图像分类挑战上的革命性性能开始，CNN架构通过更大的规模[30,76]、更广泛的连接[34]和更复杂的卷积形式[70,18,84]而变得越来越强大。随着cnn充当各种视觉任务的骨干网络，这些架构上的进步导致了性能的改进，从而大大提升了整个领域。另一方面，自然语言处理(NLP)中的网络体系结构的演变走上了一条不同的道路，目前流行的体系结构是Transformer[64]。
搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了
zandaoguang的博客
03-17 1986
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨科技猛兽编辑丨极市平台Transformer 是 Google 的团队在 2017 年提出的一种 ...
swin-transformer
qq_54809548的博客
07-14 3801
通过将图像或文本分割成Token，可以更好地理解和处理图像或文本数据，从而提高计算机视觉任务的性能和效果。swin transformer用CNN的方式去构建网络，用卷积局部化的思想，基于self-attention的方式去搭建网络，实现图像编码。其主要原因在于：transformer的模型结构就导致学习数据非常的难，因此需要更多的hidden layer来学习数据的本质分布。例如，在图像分类或目标检测任务中，可以将图像划分为不同的图像块，并将每个图像块视为一个Token来进行处理。
第6周学习笔记：Vision Transformer Swin Transformer
qq_45358370的博客
08-18 2226
一.Vision Transformer 1 模型架构 2. Hybrid模型 3. 模型代码学习 二 .Swin Transformer 1网络整体框架 2 Patch Merging 3 W-MSA（Windows Multi-head Self-Attention） 4 SW-MSA 5 相对位置偏执 三. ConvNeXt 1. Macro design 2. ResNeXt 3. Inverted Bottleneck 4. Large Kernel Sizes
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows详细解读
weixin_47166887的博客
11-12 4053
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。本文主要是为了记录在学习过程中遇到的一些问题，希望可以给大家带来帮助~ 摘要 本文介绍了一种称为Swin Transformer的新型视觉Transformer，它可以用作计算机视觉的通用backbone 目前Transfo
传统CNN和Vision Transformer之间的区别
Hanlin的博客
11-11 4572
与 CNN 相比，ViT 在浅层和深层获得的表征之间具有更多相似性 与 CNN 不同，ViT 从浅层获得全局表示，但从浅层获得的局部表示也很重要。 ViT 中的跳过连接比 CNN (ResNet) 中的影响更大，并且显着影响表示的性能和相似性。 ViT 比 ResNet 保留了更多的空间信息 ViT可以用大量数据学习高质量的中间表示 《Do Vision Transformers See Like Convolutional Neural Netw...
swin transformer 替换 vision transformer
09-02
与传统的Vision Transformer不同，Swin Transformer引入了基于窗口分割的注意力机制，可以有效处理大尺度图像。 如果你想将Swin Transformer替换Vision Transformer，你可以按照以下步骤进行： 1. 确保你的数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值