【Swin Transformer】W-MSA与MSA时间复杂度的理解

最新推荐文章于 2024-04-01 14:56:13 发布
最新推荐文章于 2024-04-01 14:56:13 发布
阅读量1.8w 收藏 13
点赞数 10
分类专栏： Transformer 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135178/article/details/120611131
版权

首先是总体的一个概括 

 解释二：

 我们然后进行详细的计算过程：

首先是MSA复杂度的计算：

 然后是W-MSA复杂度的计算：

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3483
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
Swin-Transformer中MSA和W-MSA模块计算复杂度推导（非常详细，最新）
qq_45588019的博客
01-20 1万+
在Swin-Transformer一文中，MSA与W-MSA两个公式的计算复杂度分析
Swin Transformer 时间复杂度的分析
澜静的博客
11-16 2790
Swin Transformer与Vision Transformer的MSA时间复杂度分析
Swin Transformer（W-MSA详解）代码+图解
热门推荐
MOL
07-13 3万+
2. Window & Shifted Window based Self-Attention Swin Transformer另一个重要的改进就是window-based的self-attention layer，之前提到过，ViT的一个缺点是计算复杂度是和patch数量成平方关系的，为了减少计算量，Swin的做法是将输入图片划分成不重合的windows，然后在不同的window内进行self-attention计算。假设一个图片有的patches，每个window包含MxM个patches..
MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题
量子位
03-30 300
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI谈到Transformer，你可能会想到一众NLP模型。但现在，Transformer其实还能替CNN把活给干了，并且干得还不赖。...
Transformer架构中基于窗口的的自注意力机制W-MSA和滑动窗口自注意力机制SW-MSA的实现
wqq112692的博客
02-05 3913
基于滑动窗口的Transformer架构中的自注意力机制的实现
swin transformer中的W-MSA
09-13
W-MSA是Swin Transformer中的一种多头自注意力机制（Multi-Head Self-Attention）。在Swin Transformer中，输入序列被划分成了一系列的小块（或称为patch），然后通过层级式的窗口化自注意力（Window-based Multi-...
Swin Transformer 模型结构图是MSA还是W-MSA
最新发布
06-01
Swin Transformer 是一个新型的Transformer模型，它的模型结构图使用了W-MSA。W-MSA是一种基于局部窗口的多头自注意力机制，其中W表示窗口大小，MSA表示多头自注意力机制。相比于传统的MSA，W-MSA可以处理长序列的...
Swin-Unet网络预训练模型，swin-tiny-patch-window7-224.pth
04-27
Swin-Unet是Swin Transformer与经典Unet结构的结合，继承了Unet的对称双路径设计，用于处理像素级预测任务，如语义分割。Unet的特点是其上下采样和上采样路径，能够有效地结合粗略的全局信息和精细的局部细节，从而...
swin transformer中的SW-MSA
09-13
SW-MSA（Shifted Window Multihead Self-Attention）是Swin Transformer模型中的一种自注意力机制。在传统的Transformer中，自注意力机制（Self-Attention）对序列中的每个位置都进行全连接的计算，这导致复杂度很高...
用python调用W-MSA应用案例
ducanwang的博客
04-01 630
W-MSA（Weighted Multi-head Self-Attention）是一个自注意力机制的变种，它在多头自注意力（Multi-head Self-Attention）的基础上加入了权重，以更灵活地捕获输入序列中的不同特征。虽然W-MSA并不是深度学习领域的一个通用或广泛认可的术语，但它可能指的是在特定上下文或研究中自定义的注意力机制。下面是一个简化的示例，展示了如何定义一个W-MSA层，并在一个简单的模型中使用它。# 添加可训练的权重，用于调整每个头的权重。# 自定义W-MSA层。
MSA,W-MSA和AS-MLP block的计算复杂度公式推导
laizi_laizi的博客
05-19 3173
在AS-MLP里面有这几个公式： 首先，这三个名词首先知道是从哪里来的： MSA: Multi-head self-attention W-MSA: Window multi-head self-attention AS-MLP:axial shifted MLP 然后我们这里说的是计算复杂度，而不是直接的计算量，所以会忽略比如softmax和scale的计算部分。 首先明确最简单的矩阵相乘的计算复杂度，可以看下面这张图: NxC的矩阵与CxM的矩阵相乘，计算复杂度为O(NMC)O(NMC
关于Transformer的相关概念模型的个人理解
weixin_43921949的博客
09-11 1617
Transformer相关知识的个人理解
Swin Transformer全方位解读【ICCV2021马尔奖】
木盏
10-18 1万+
自从ViT、DETR等尝试把language模型中的王炸transformer使用到视觉领域并得到还不错的验证效果后，研究者们一直在致力于“**如何更好地将语言模型建模到视觉**”这个问题。ViT直接把图片划分patch，用对待word的方式来对待每个patch，轻松将图片建模成sentence；而DETR则需要CNN辅助提取特征，而transformer只是当一个neck。后者更像是一个过渡模式，咱们本文不做过多讨论。
SwinTransformer学习
qq_43369406的博客
04-07 808
采用类似卷积神经网络中的层次构建方法采用W-MSA和SW-MSA全新的位置编码方式层次构建方法相比较于ViT，第一个Conv2d直接将图片下采样16x16倍，swin-Transformer则使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于在此基础上构建目标检测，实例分割等任务。W-MSA和SW-MSA。
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
Le0v1n 的博客
06-25 2327
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
【SwinTransformer论文笔记】
weixin_41823992的博客
12-04 1552
Swin-Transformer论文笔记
SwinTransformer网络架构
QT-Smile
06-11 855
SwinTransformer网络架构
ICCV2021 Best Paper : Swin Transformer (一）
周周周周周大帅的博客
02-17 1146
今天呢，并不是什么重要的日子，但绝对是值得记录下Swin transformer的美好时刻。在写Swin transformer之前呢，会不禁有这样一个问题：Swin transformer要解决一个怎样的事情呢？这件事情就是：我们知道，在NLP任务中啊输入的token大小基本相同，而在CV领域例如目标检测中由于目标尺寸并不相同，那用单层级的模型就很难有好的效果；其次将transformer迁移到CV领域，由于图像分辨率高，像素点多，transformer基于全局的自注意力的计算将导致十分巨大的计算量，尤其
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马鹏森

太谢谢了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值