Swin Transformer代码讲解

已于 2023-03-11 19:32:52 修改
阅读量4.7k 收藏 34
点赞数 9
分类专栏： 深度学习之美 文章标签： transformer 深度学习 人工智能
于 2022-06-11 22:40:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34848334/article/details/125237761
版权

Swin Transformer代码讲解

下采样是4倍，所以patch_size=4
在这里插入图片描述

在这里插入图片描述
2.
在这里插入图片描述
3.
emded_dim=96就是下面图片中的C，经过第一个Linear Embedding处理之后的通道数
在这里插入图片描述
在这里插入图片描述
4.
在这里插入图片描述

经过第一个全连接层把通道数翻为几倍
在这里插入图片描述
在这里插入图片描述
6.
在Muhlti-Head Attention中是否使用qkv——bias，这里默认是使用
在这里插入图片描述
7.

第一个drop_rate接在PatchEmbed后面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

第二个drop_rate在Multi-Head Attention过程中使用的
在这里插入图片描述
9.
第三个drop_rate是指在每一个Swin Transformer Blocks中使用的，它是从0慢慢增长到0.1的
在这里插入图片描述

在这里插入图片描述
10.
patch_norm默认接在PatchEmbed后面的
在这里插入图片描述
11.
默认不使用，使用的话，只是会节省内存
在这里插入图片描述
12.
对应于每一个stage中Swin Transformer Blocks的个数
在这里插入图片描述
13.
对应stage4的输出的通道的个数
在这里插入图片描述

在这里插入图片描述
14.
PatchEmbed就是把图片划分成没有重叠的patches
在这里插入图片描述
15.
PatchEmbed对应结构图中高的 Patch Partition 和Linearing Embedding
在这里插入图片描述
在这里插入图片描述
16.
Patch Partition 确实是通过一个卷积实现的
在这里插入图片描述
17.
在宽度方向右侧pad和在高度方向的底部pad
在这里插入图片描述
18.
从维度2开始展平的
在这里插入图片描述
19.
这儿是上文提到的第一个drop_rate直接接在patchEmbed后面
在这里插入图片描述
20.
针对所使用的Swin Transformer Blocks设置一个drop_path_rate。从0开始一直到drop_path_rate
在这里插入图片描述
21.
遍历生成每一个stage，而代码中的stage和论文中的stage有一点差异
在这里插入图片描述
在这里插入图片描述
对于stage4，它没有Patch Merging，只有Swin Transformer Blocks
在这里插入图片描述

在该stage层中需要堆叠的Swin Transformer Blocks的次数
在这里插入图片描述
23.
drop_rate：直接接在patchEmbed后面
attn_drop：该stage所使用的
dpr：该stage中不同Swin Traansformer Blocks所使用的
在这里插入图片描述
24.
构建前3个stage是有PatchMerging，但是最后一个stage是没有PatchMerging
在这里self.num_layers=4
在这里插入图片描述
25.
在这里插入图片描述

在这里插入图片描述
26.
在这里插入图片描述

在这里插入图片描述

在下面的Patch Merging中传入的特征矩阵的shape是x: B , H*W , C这样的
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
28.
当x的h和w不是2的整数倍时，就需要padding，需要在右边padding一列0，在下面padding一行0。
在这里插入图片描述
在这里插入图片描述
29.
在这里插入图片描述
30.
在这里插入图片描述
31.
对于分类模型就需要加上下面这部分代码
在这里插入图片描述
32.

对整个模型进行权重初始化
在这里插入图片描述
33.
进行4倍下采样
在这里插入图片描述
34.
L：H*W
在这里插入图片描述
35.
按照一定的比例进行丢失
在这里插入图片描述
36.
遍历各个stage
在这里插入图片描述

下面的代码是在搭建Swin-T模型
在这里插入图片描述

在这里插入图片描述

Swin_T在imagenet-1k上的预训练权重
在这里插入图片描述
39.

Swin_B（window7_224）
在这里插入图片描述
在这里插入图片描述

Swin_B（window7_384）

在这里插入图片描述

在这里插入图片描述
41.
原始的特征矩阵需要进行向右和向下进行移动，但是具体的向右和向下移动的距离等于：窗口的大小除以2，再向下取整
在这里插入图片描述
在这里插入图片描述
self.shift_size就是向右和向下移动的距离
在这里插入图片描述
42.
一个stage中的Swin Trasformer Blocks的个数
在这里插入图片描述

当shift_size=0：使用W-MSA
当shift_size不等于0：使用SW-MSA，shift_size = self.shift_size
在这里插入图片描述
44.
Swin Transformer Blocks有可能是W-MSA也有可能是SW-MSA。在使用的时候并不是把W-MSA和SW-MSA当成一个Swin Transformer Blocks
在这里插入图片描述
45.
depth表示下图中圈出来的数字
在这里插入图片描述
在这里插入图片描述
46.
此处的下采样是使用Patch Merging实现的
在这里插入图片描述
47.
这个实在SW-MSA时使用的
在这里插入图片描述
48.
Swin Transformer Blocks是不会改变特征矩阵的高和宽的，所以每一个SW-MSA都是一样的，所以attn_mask的大小是不会发生改变的，所以attn_mask只需要创建一次
在这里插入图片描述
49.
在这里插入图片描述
50.
这便是创建完了一个stage中的全部Swin Transformer Blocks
在这里插入图片描述
51.
这便是下采样Patch Merging，下采样高度和宽度会减小两倍
在这里插入图片描述
52.
这里的+1，是防止传入的H和W是奇数，那么就需要padding
在这里插入图片描述在这里插入图片描述
53.

在这里插入图片描述
在这里插入图片描述
54.
在这里插入图片描述
在这里插入图片描述
55.
在这里插入图片描述
56.
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
58.
在这里插入图片描述
59.
下面这两个x的shape是一样的
在这里插入图片描述

在这里插入图片描述
60.

在这里插入图片描述

在这里插入图片描述
61.
WMSA和SWMSA所使用的窗口的大小
在这里插入图片描述

第一个全连接层将channel翻多少倍
在这里插入图片描述
63.

在这里插入图片描述
64.

在这里插入图片描述
65.
每一个swin-transformer阶段中使用的，但它是从0慢慢增长到下面设置的数值
在这里插入图片描述
在这里插入图片描述
66.
在这里插入图片描述

在这里插入图片描述
68.

在这里插入图片描述
69.

在这里插入图片描述
70.

在这里插入图片描述

官方pad函数
在这里插入图片描述
72.
在这里插入图片描述

在这里插入图片描述
74.
在这里插入图片描述
75.
在这里插入图片描述
76.
在这里插入图片描述
77.
在这里插入图片描述
78.
在这里插入图片描述
79.
在这里插入图片描述
80.
在这里插入图片描述
81.
在这里插入图片描述
82.
在这里插入图片描述
83.
在这里插入图片描述
84.
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
移动的大小=窗口大小除以2，然后向下取整
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
87.
在这里插入图片描述
88.

在这里插入图片描述
89.
在这里插入图片描述
90.

无论是wmsa和swmsa，单独的它们都不会改变特征矩阵的尺寸
在这里插入图片描述

mask放在这个位置解决了多尺度训练的问题

在这里插入图片描述
92.

在这里插入图片描述
93.
运行完一个stage中的所有wmsa和swmsa
在这里插入图片描述
94.
在这里插入图片描述
95.
在这里插入图片描述

下面代码运行的最终结果如下所示
在这里插入图片描述

在这里插入图片描述
97.

在这里插入图片描述
98.
在这里插入图片描述

在这里插入图片描述
99.

在这里插入图片描述
100.

在这里插入图片描述
101.

在这里插入图片描述

在这里插入图片描述

下面两个函数属于互为逆过程
在这里插入图片描述

在这里插入图片描述
104.

在这里插入图片描述
105.
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
108.
在这里插入图片描述
109.
在这里插入图片描述
110.
在这里插入图片描述
111.

在这里插入图片描述
112.
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
115.
互为逆过程
在这里插入图片描述
在这里插入图片描述
116.

QT-Smile
关注
专栏目录
Swin-Transformer讲解——代码版
走在深度学习前沿的小宋
05-25 1771
这篇文章主要介绍Swin-Transformer原理是如何与对应的代码进行匹配的。理解论文更多的是先以总的方式理解论文的结构。然后一点一点去理解细节，建议理解这篇文章的时候可以同上篇介绍原理的文章一同理解，效果会更好。最后，如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。
Swin Transformer详解
我的博客
04-28 7418
原创：余晓龙 “Swin Transformer: Hierarchical Vision Transformer using Shifted Window”是微软亚洲研究院（MSRA）发表在arXiv上的论文，文中提出了一种新型的Transformer架构，也就是Swin Transformer。本文旨在对Swin Transformer架构进行详细解析。 一、Swin Transformer网络架构 整体的网络架构采取层次化的设计，共包含4个stage,每个stage都会缩小输入特征图的分辨率，类似于
Swin-Transformer（原理 + 代码）详解
热门推荐
源仔
04-28 3万+
（二）代码的下载与配置 2.1、需要的安装包 官方源码下载 学习的话，请下载Image Classification的代码，配置相对简单，其他的配置会很麻烦。如下图所示： Install ： pytorch安装：感觉pytorch > 1.4版本都没问题的。 2、pip install timm==0.3.2(最新版本也行) 1、pip install Apex win 10系统下安装NVIDIA apex 这个我认为windows安装可能会很啃。 1、首先在github下载源码http
狗都能看懂的Swin Transformer的讲解和代码实现
个人学习笔记
08-21 1931
狗都能看懂的Swin Transformer和代码复现
Swin Transformer代码详解（必懂）
m0_74982304的博客
04-14 4693
上一篇文章中我们写完了最难的两个数学原理部分，mask和相对位置编码的代码。本篇文章将讲解Swin的全部代码。文章仅供学习，若有纰漏请不吝赐教。全部代码放在文章最后。我看这些代码的经验是跟着维度一点一点的串，当然只是个人经验。可以跟我下面的维度图走。
经典模型代码学习--swin-transformer（图文代码讲解）
weixin_62371528的博客
02-06 6528
经典模型代码学习--swin-transformer（图文代码详细讲解），打开不亏！
深度学习网络模型————Swin-Transformer详细讲解与代码实现
guoqingru0311的博客
02-10 9262
经典网络模型系列——Swin-Transformer详细讲解与代码实现
Swin-Transformer 实战代码与讲解（快速上手）
m0_57099194的博客
04-02 5738
Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。它可以作为计算机视觉的通用backbone，并且在很多视觉底层任务中取得了Sota的水准。
swin transformer代码讲解
最新发布
10-08
Swin Transformer是一种基于Transformer架构的视觉模型，它在图像处理任务中表现出色，特别是对于长序列输入的高效处理。其核心特点是采用了窗口化（Windowing）机制以及局部自注意力（Local Attention），这使得...
swin transformer代码详解
03-17
Swin transformer是一种在超级计算机上进行大规模训练的Transformer模型。它主要通过使用多个GPU来加速训练过程。代码中主要包括以下几部分： 1. 数据读取和预处理：读取训练数据并进行预处理，包括分词、建立词汇...
Swin transformer讲解
weixin_41704021的博客
09-24 1770
讲解Swin transformer
swin-transformer-pytorch:PyTorch中Swin变压器的实现
04-01
Swin变形金刚-PyTorch 体系结构的实现。 本文介绍了一种称为Swin Transformer的新型视觉变形金刚，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的加窗方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性，并且相对于图像大小具有线性计算复杂性。 Swin Transformer的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4 top-1）和密集的预测任务，例如目标检测（COCO测试中为58.7框式AP和51.1遮罩式
SwinTransformer整体网络结构代码详解
丑小鸭
02-04 1562
SwinTransformer整体网络结构代码详解
swin transformer源码——超详细图解
weixin_43507865的博客
02-23 2274
假设输入 x 的 shape 为(2,3,16,16)，那么输出 x 的 shape 为(2,8,4,4)。说明：在我的代码中，生成的特征图是 4*4 的，而 window_size 为 3，因此需要对特征图进行扩充，以适应窗口大小。解释下上面 q（k 和 v 是一样的）的 shape， 一个 batch 中的每一张图片中的每一个 window 的每个 head 都有自己的 q、k、v 值。，假设输入 x 的 shape 为(2,8,4,4)，那么输出 x 的 shape 为(2,16,8)。
pytorch 笔记： Swin-Transformer 代码
qq_40206371的博客
09-25 2052
对于滑动窗口这一部分，我们举个例子：H=W=6，window_size=2，shift_size=1。各swin-transformer层的attention的头数。各swin-transformer层的深度。mlp隐藏层维度：embedding层维度。mlp隐藏层维度：embedding层维度。mlp隐藏层维度：embedding层维度。不同数字的cnt对应的是下面这九块。将patch级别的图片划分成窗口级别。（int，或者int的tuple）（int，或者int的tuple）
SwinTransformer细节及代码实现（pytorch版本）
qq_52302919的博客
04-06 2万+
作者分析表明，Transformer从NLP迁移到CV上没有大放异彩主要有两点原因： 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。 CV比起NLP需要更大的分辨率，而且CV中使用Transformer的计算复杂度是图像尺度的平方，这会导致计算量过于庞大。
经典网络模型系列——Swin-Transformer详细讲解与代码实现
hellozhxy的博客
10-19 4942
【代码】经典网络模型系列——Swin-Transformer详细讲解与代码实现。
附代码 Swin Transformer
weixin_44543648的博客
12-29 2606
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文解读 参考链接：https://blog.csdn.net/qq_37541097/article/details/121119988?spm=1001.2014.3001.5501 代码链接：https://github.com/microsoft/Swin-Transformer 论文链接：https://arxiv.org/pdf/2103.14030.p
transformer代码 pytorch
09-13
Transformer代码的主要结构是由Encoder、Decoder和Projection三个部分组成的。在构造函数中，定义了这三个模块，并且指定了解码层的输出维度大小。在forward函数中，接受编码输入enc_inputs和解码输入dec_inputs，并通过Encoder对enc_inputs进行编码，然后将编码结果和解码输入传递给Decoder进行解码。最后，将解码结果通过Projection进行线性变换，得到最终的输出。 具体的代码实现如下所示： ``` import torch import torch.nn as nn class Transformer(nn.Module): def __init__(self, d_model, tgt_vocab_size): super(Transformer, self).__init__() self.encoder = Encoder() # 编码层 self.decoder = Decoder() # 解码层 self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) # 输出层 def forward(self, enc_inputs, dec_inputs): enc_outputs = self.encoder(enc_inputs) # 编码 dec_outputs = self.decoder(dec_inputs, enc_outputs) # 解码 outputs = self.projection(dec_outputs) # 输出 return outputs ``` 其中，Encoder和Decoder是Transformer代码中的两个关键模块。Encoder负责将输入序列进行编码，而Decoder则负责根据编码结果进行解码。 请注意，以上代码只是一个伪代码示例，具体的实现可能会有一些变化，例如具体的编码和解码操作的实现方式可能会有所不同，这取决于具体的Transformer模型的设计和要解决的任务。 这段引用描述了Transformer中的编码器层和编码输入的处理方式。 这段引用描述了Transformer类的定义和forward函数的实现。 这段引用描述了代码中的一个转置操作，用于变换维度。 以上是对Transformer代码的简要说明，具体的实现细节可以参考完整的代码实现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值