Swin Transformer对CNN的降维打击

于 2024-04-04 17:56:14 发布
阅读量817 收藏 29
点赞数 16
分类专栏： 程序员 文章标签： transformer cnn 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84047990/article/details/137379004
版权
本文详细解析了Swin-Transformer的网络结构，包括PatchPartition、LinearEmbedding、PatchMerging和swin-transformer块，重点介绍了如何在一个窗口内进行self-attention计算，以及shiftedwindow技术的实现。同时提及了Java开发的学习资源，包括面试题解析和学习笔记等内容。
摘要由CSDN通过智能技术生成

一般而言，我拿到一篇论文之后，会首先分析每个块的输入输出是怎样的，先从整体上对网络结构把握，然后在慢慢的细化。我们首先来梳理一下swin-transformer每个块的输入输出。

在这里插入图片描述

| stage | Layer | size |

| — | — | — |

| | input image | 224x224x3 |

| | patch partition | 224/4 x 224/4 x 4x4x3 |

| 1 | linear embedding | 224/4 x 224/4 x 96 |

| 1 | swin transformer | 224/4 x 224/4 x 96 |

| 2 | patch merging | 224/8 x 224/8 x 192 |

| 2 | swin transformer | 224/8 x 224/8 x 192 |

| 3 | patch merging | 224/16 x 224/16 x 192 |

| 3 | swin transformer | 224/16 x 224/16 x 192 |

| 4 | patch merging | 224/32 x 224/32 x 384 |

| 4 | swin transformer | 224/32 x 224/32 x 384 |

从结构图中可以看到，swin-transformer网络结构主要包括以下层：

  • 1.Patch Partition：将输入图像划分为若干个patch

  • 2.Linear Embedding：将输入图像映射要任意维度（论文中记为C，即C=96）

  • 3.Patch Merging：降低分辨率，扩大感受野，获得多层次的特征信息，类似于CNN中的pool层

  • 4.swin transformer：特征提取及特征表征

2.3 swin-transformer结构解析

到这里我们已经大致了解swin-transformer网络

最低0.47元/天 解锁文章
2401_84047990
关注
专栏目录
Swin Transformer对CNN的降维打击(1)
2401_84048006的博客
04-17 830
一张图告诉你Transformer现在是多么的强！几乎包揽了ADE20K语义分割的前几名！该文章详细解读Swin-transformer的相关内容以及高明之处。看完学不会，你在评论区打我！CNN已然在计算机视觉领域取得了革命性的成果，拥有着不可撼动的地位。Transformer最初用于NLP领域，但Transformer凭借其强大的特征表征能力，已经在cv领域杀出了一条血路。代码链接：[https://github.com/microsoft/Swin-Transformer]( )
Swin Transformer对CNN的降维打击，精心整理
最新发布
imtokenmax众筹
03-28 742
学习swin transformer之前，我们首先需要熟知以下几个概念：Resolution：假设一张图像的分辨率为224x224，这里所说的224就是像素。Patch：所谓的Patch就是由多少个像素点构成的，假设一个patch的size为4x4，则这个patch包含16个像素点。Window：window的size是由patch决定的，而不是由像素点，假设window的size为7x7，则该window包含49个patch，而不是49个像素点。
详解Swin Transformer核心实现
hellozhxy的博客
10-19 1304
最后，将图像补回原来的大小，这一步是方便代码的编写，并且对窗口中原本不相邻的区域不做注意力运算。注意，窗口是由黑框决定的。通过这两步，美妙的事情发生了，我们首先在第一步建立了[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]各自窗口之间的联系，然后在第二步建立了[4,7,10,13]之间的联系。首先，我们对每个颜色内的窗口进行自注意力运算，如[1,2,3,4]，[5,6,7,8]，[9,10,11,12]，[13,14,15,16]每个列表内的元素做自注意力运算。
神经网络学习笔记5——Swin-Transformer网络
qq_45848817的博客
10-21 1万+
Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin 的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系，也因此被人成为披着transformer皮的CNN。
Swin-Transformer详解
热门推荐
hellozhxy的博客
10-19 1万+
Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得的荣誉称号。虽然在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的权衡，提出了Swin-Transformer结构。论文名称原论文地址官方开源代码地址Pytorch实现代码Tensorflow2实现代码如下图所示为：Swin-Transformer与ViT的对比结构。采样方式。
swin-transformer
qq_54809548的博客
07-14 4848
通过将图像或文本分割成Token，可以更好地理解和处理图像或文本数据，从而提高计算机视觉任务的性能和效果。swin transformer用CNN的方式去构建网络，用卷积局部化的思想，基于self-attention的方式去搭建网络，实现图像编码。其主要原因在于：transformer的模型结构就导致学习数据非常的难，因此需要更多的hidden layer来学习数据的本质分布。例如，在图像分类或目标检测任务中，可以将图像划分为不同的图像块，并将每个图像块视为一个Token来进行处理。
swin transformer总结
babbycool的博客
03-05 1615
记录swin transformer学习的点点滴滴
swin transformer详解
qq_52053775的博客
08-14 1670
在计算时，只需要计算自己窗口的，其他的都都是无关的，比如说对于7,1，我们只取对角线上自己需要的结果，其他部分全部mask掉，让其值为负无穷即可，最后再经过softmax操作，输出结果同样为（56，56，96），计算完特征后需要对图像进行还原，也就是还原平移。通过得到的attention计算得到新的特征（64，49，96），总共64个窗口，每个窗口7*7的大小，每个点对应96维向量，window_reverse就是通过reshape操作还原回去（56，56，96）输入：图像数据（224，224，3）...
Swin-Transformer
陶将的博客
07-13 5125
本篇博文详细讲解ViT和Swim-Transformer
文献阅读-基于 CNN-Swin Transformer Network 的 LPI 雷达信号识别
qq_43686057的博客
09-05 899
相比于 CNN 模 型的不变性和局部性，特征之间依赖关系差， Transformer 模型的 SA 机制不受局部相互作用限 制，能够学习最合适任务目标的归纳偏置。④短时傅里叶+GoogleNet/AlexNet，实现调制信号识别。CNN缺陷：不擅长捕捉全局信息，感受野受限，对信噪比要求较高。⑤时频分析+改进AlexNet，实现调制信号识别。⑥扩张残差网络+时频分析，实现辐射源分类。③小波变换+残差网络，实现调制信号识别。①时频图像+CNN，以信号调制识别。②时频分析+CNN，特征提取与分类。
Swin Transformer解读
weixin_41202834的博客
09-06 3193
引言：Transformer 模型在自然语言处理（NLP）领域已然成为一个新范式，如今越来越多的研究在尝试将 Transformer 模型强大的建模能力应用到计算机视觉（C...
站在CNN肩膀上的巨大腾飞，Swin Transformer：实现对各类SOTA的降维打击
Oner.wv的专栏
03-31 4137
作者丨陀飞轮@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/360513527导读本文介绍了一种称为Swin Transformer的新型transfor...
基于Transformer的通用视觉架构：Swin-Transformer带来多任务大范围性能提升
我爱计算机视觉
05-11 2485
将Transformer引入视觉领域后，研究人员们一直在寻求更好的模型架构来适应视觉领域的通用任务。但将Transformer从NLP领域迁移到CV领域面临着众多挑战，与文本相比图像中的视...
对Swin-Transformer的理解
菜根檀的博客
05-04 5805
对Swin-Transformer的初步理解Introduction整体结构Patch Embedding(Partition)Patch MergingWindow Partition/ReverseWindow Attention相对位置编码Shifted Window Attention特征图移位操作Attention MaskTransformer Block整体架构参考         Swin-Transformer
Swin Transformer原文及其代码的理解
kobayashi_的博客
07-02 5546
Swin Transformer的理解和实现 第一版 更好的排版笔记：Notion 名词解释 基础知识： 搞懂Vision Transformer 原理和代码，看这篇技术综述就够了(三) token:分词，cv中一般是patch MSA:Multi-head Self Attention 导论????(力推) 图解Swin Transformer official repo： microsoft/Swin-Transformer 实现 接下来跟着paper中的Architecture图结合原论文来讨
swin-transformer 细节理解之整体架构
m0_43553709的博客
06-19 1341
swin-transformer 细节理解之整体架构
swin transformer 相比cnn
09-13
Swin Transformer 是一种新型的图像分类模型，相比传统的 CNN（卷积神经网络），它具有一些独特的特点和优势。 首先，Swin Transformer 使用了 Transformer 结构，而不是传统的卷积操作。Transformer 是一种基于自注意力机制的模型，能够在全局范围内进行特征的交互和整合，因此在处理长程依赖关系时有一定的优势。 其次，Swin Transformer 提出了一种新颖的窗口分割策略，将图像划分为多个小块进行处理。这种策略使得模型能够更好地处理大尺寸图像，同时减少了计算复杂度。 此外，Swin Transformer 引入了跨层的连接机制，以便更好地传播信息。这些连接可以帮助模型在不同层级上进行信息的传递和融合，有助于提高模型的性能。 总体来说，Swin Transformer 在图像分类任务上取得了很好的性能，尤其在处理大尺寸图像方面有一定的优势。然而，根据具体的任务和数据集，CNN 仍然可能是更合适的选择，因为它在计算效率上可能更高，并且在一些特定任务上可能具有更好的表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值