Swin Transformer与Vision Transformer的不同设计

已于 2022-05-11 16:50:31 修改
阅读量654 收藏 2
点赞数
分类专栏： Vision Transformer 文章标签： transformer 深度学习 人工智能 pytorch 计算机视觉
于 2022-05-11 16:49:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sircollector/article/details/124713291
版权

Swin Transformer与Vision Transformer的不同设计

图片分割

  • Swin使用一个卷积层进行分割，卷积层的滑动补偿等于核的尺寸，因此图片每个像素不会重复框选，卷积核数等于embedding编码长度，同时完成分割与掩码
  • Vision先老老实实地分割，并把每个patch的像素如（3, 16, 16）拉平，再接入mlp中转化为预定的embedding长度

cls_token

  • Swin不用cls_token，最后使用全局池化产生送入mlp中的向量
  • Vision可以使用cls_token，最后直接将cls_token提取出来送入mlp中，也可以选择不用

位置编码

  • Swin采用二维的相对位置编码，而且是在QK求完内积得到注意力分数之后作为偏置加在注意力分数上的，此后才做softmax处理。
  • Vision采用一维的绝对位置编码，在对图片切割为patches并embedding，再并上cls_token后进行一维绝对位置编码
  • Swin在在对图片切割为patches并embedding后，不适用cls_token，可选择添加绝对位置编码

attention层

  • Swin规定了头数与且QKV总的向量长度应与embdiing长度相等，因此每个头的QKV向量长度为embdiing长除以头数，经过多头自注意力后拼接各个头的V，得到的V向量的长度即为embedding长度，以此来保证embedding长度经过自注意力处理后不发生改变
  • Vision规定了头数和每个头的QKV向量长度，这样比较灵活，经过多头自注意力后拼接各个头的V，经过mlp将得到的V向量的长度转化为embedding长度，以此来保证embedding长度经过自注意力处理后不发生改变
Libertaz
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CVPR2021 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
smile909的博客
03-27 823
动机 1、一个跨计算机视觉和自然语言处理的统一体系结构将有利于两个领域的研究，因为它将促进虚拟信号和文本信号的联合建模，并且两个领域的建模知识可以更深入地共享。 计算机视觉中的建模一直由卷积神经网络（CNNs）主导。自然语言处理(NLP)中的网络体系结构的发展走了一条不同的道路，今天流行的体系结构是Transformer。在这篇论文中，试图扩展Transformer的适用性，使其能够像NLP和CNN在视觉中的应用一样，成为计算机视觉的通用骨干网络。 2、从语言到视觉转换的挑战来自于这两个领域之间的差异，例如
Swin transformer
10-30
Swin Transformer 的主要贡献是引入了 Hierarchical Vision Transformer 结构，该结构可以在不同尺度下进行建模，并且与广泛的视觉任务兼容。该结构包括 Patch Partition、Patch Merging、Layer l 层和 LayerNorm 层...
第6周学习：Vision Transformer &amp； Swin Transformer
weixin_45351699的博客
08-19 1201
Vision Transformer & Swin Transformer
Vision Transformer和Swin Transformer梳理
weixin_43329973的博客
08-18 530
注重理解，学习基本的Transformer算法
计算机视觉算法——Vision Transformer / Swin Transformer
热门推荐
weixin_44580210的博客
04-05 1万+
9. Transformer Transformer来源于2017年的一篇论文《Attention Is All You Need》，Transformer的提出最开始是针对NLP领域的，在此之前，NLP领域里使用的主要是RNN、LSTM这样一些网络，这些网络都存在一些问题，一方面是记忆长度有限，另一方面是无法并行，而Transeformer理论上记忆长度是无限长的，并且可以做到并行化。 9.1 网络结构 9.2 关键知识点 9.2.1 Self-Attention Self-Attention是Trans
第6周学习：Vision Transformer & Swin Transformer
WKX_5的博客
08-19 2259
第6周学习：Vision Transformer & Swin Transformer
字符识别-基于Swin-Transformer实现的OCR字符识别算法-附项目源码-优质项目实战.zip
最新发布
04-29
Swin-Transformer通过引入窗口自注意力机制解决了这个问题，使得Transformer可以有效地应用于不同尺度的图像处理任务，如图像分类、目标检测和语义分割等。 在OCR领域，Swin-Transformer的应用主要体现在对图像中的...
Swin-Transformer
08-20
虽然Vision Transformer (ViT)在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的...
Swin-Transformer（code and 论文）.zip
12-29
论文“Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”详细阐述了Swin-Transformer的设计理念和实现方法。其中，关键创新点包括： 1. **层次结构**：Swin-Transformer采用了类似于CNN...
第八次组会PPT_Vision in Transformer
04-23
【Vision Transformer】(ViT) 是深度学习领域中一种创新性的模型，它源自于Transformer架构，最初被广泛应用于自然语言处理（NLP）任务。尽管Transformer在NLP中取得了显著的成功，但在计算机视觉（CV）领域的应用却...
Transformer & Vision Transformer
m0_74043494的博客
12-03 213
transformer输入的是一个序列数据，也就是词向量，然后对每个词向量都会添加一个位置编码，来让transformer得到词向量的位置信息，因为tansformer是基于self-attention的，而self-attention是感知不到位置信息的，self-attention会将各个词都计算他们之间的attention值，因此如果不添加位置编码，transformer充其量只能做一个词袋模型，无法做到充分理解语义信息。Encoder block是由6个encoder堆叠而成，Nx=6。
Swin Transformer：层次化视觉Transformer
dawnyi_yang的博客
08-10 746
摘要 Swin Transformer是一种新型transformer，通过引入CNN中常用的层次化构建方式构建层次化Transformer以及引入locality思想解决transformer迁移至CV上的scale和分辨率的问题。 论文：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 问题的提出 Transformer从NLP迁移到CV上没有大放异彩主要有两点原因： 两个领域涉及的scale不同，NLP的s
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows详细解读
weixin_47166887的博客
11-12 4053
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。本文主要是为了记录在学习过程中遇到的一些问题，希望可以给大家带来帮助~ 摘要 本文介绍了一种称为Swin Transformer的新型视觉Transformer，它可以用作计算机视觉的通用backbone 目前Transfo
深度学习Transformer(七)——Swin Transformer Hierarchical Vision Transformer using Shifted Windows
goodluckcwl的专栏
07-24 398
针对如何
[ Transformer篇 ] 经典网络模型 —— Vision Transformer + Transformer in Transformer + Swin Transformer
A_John 的博客
02-17 1279
[ Transformer篇 ] 经典网络模型 —— Vision Transformer + Transformer in Transformer + Swin Transformer； 主要介绍Vision Transformer、Transformer in Transformer、Swin Transformer这三个Transformer的经典模型。
【Swin Transformer】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
向上生长的程序媛的博客
12-04 4077
文章： 代码： 1.Swin Transformer VS ViT 这个图表达了swin transformer和ViT的区别，不知道ViT的可以去我之前的博客里去了解，这里就不多赘述，swin transformer的主要区别就是对构建了由切片的图像拼接组成的分层特征图，且对输入图像大小具有线性计算复杂度，在每个局部框内（红色区域）计算自注意指数。 【ViT】链接：https://blog.csdn.net/qq_38308388/article/details/121495709htt..
[Transformer]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
qq_37151108的博客
10-31 594
Swin Transformer:基于移动窗口的层级视觉Transformer
AbstractSection I IntroductionSection II Related WorkSection III MethodPart 1 Overall ArchitecturePart 2 Shifted Window based Self-AttentionPart 3 Architecture VariantsSection IV ExperimentsPart 1 ImageNet Classifica
swin transformer 替换 vision transformer
09-02
你好！对于将Swin Transformer替换Vision Transformer的问题，以下是我的回答： Swin Transformer是一个基于局部注意力机制的图像分类模型，它在处理大尺度图像时表现出色。与传统的Vision Transformer不同，Swin Transformer引入了基于窗口分割的注意力机制，可以有效处理大尺度图像。 如果你想将Swin Transformer替换Vision Transformer，你可以按照以下步骤进行： 1. 确保你的数据集适合使用Swin Transformer。Swin Transformer在处理大尺度图像时效果更好，因此如果你的数据集包含具有高分辨率的图像，那么考虑使用Swin Transformer可能会更合适。 2. 下载或实现Swin Transformer的代码。Swin Transformer的源代码和预训练模型可以在GitHub上找到，你可以下载并将其集成到你的项目中。 3. 调整模型架构和超参数。根据你的需求和数据集特点，调整Swin Transformer的模型架构和超参数。你可能需要做一些实验来找到最佳设置。 4. 重新训练或微调模型。根据你的数据集规模和训练目标，你可以选择从头训练一个Swin Transformer模型，或使用预训练的权重进行微调。 5. 验证和测试模型性能。在训练完成后，使用验证集评估模型的性能，并在测试集上进行最终的测试。根据结果进行调整和改进。 请注意，Swin Transformer和Vision Transformer在某些方面有所不同，因此在替换模型时，你可能需要重新评估和调整其他部分的代码，如数据预处理、损失函数和优化器等。 希望这些信息对你有帮助！如果你有其他问题，我会尽力回答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值