Cswin transformer学习

最新推荐文章于 2024-04-26 09:36:44 发布
最新推荐文章于 2024-04-26 09:36:44 发布
阅读量2.1k 收藏 15
点赞数 3
分类专栏： GAN网络学习过程 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44968613/article/details/125694421
版权

本文章仅限于自己自学，如果有人也将GAN网络与transformer进行结合做研究的话可以随时给我发私信，我们一起探讨共同进步。

文章可以说是在swin transformer的基础上进一步对网络进行了优化，在最近看的文章当中发现对于transformer的更新主要是在位置编码上面以及对于self attention上面。

创新点1，cross-shaped window attention(交叉形状窗口注意力机制)

        本文的self attention介绍了许多先验的self attention中的window，如下图所示：

full attention的网络结构相当于是数据特征传输过程中对全局信息进行提取,相关文章地址为：

[2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (arxiv.org)

shifted local的网络为了避免代码在对全局信息计算量大，新提出的可移动式窗口，相关文献地址为：

[2103.14030] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (arxiv.org)

sequential Axial的网络结构相对新颖，相关文献地址为：[1912.12180] Axial Attention in Multidimensional Transformers (arxiv.org)

        在swin transformer中transformer block中的window采用的是W-MSA以及SW-MSA，W-MSA就是相当于将每个窗口都做了非重叠式的等块分割，每个token大小一致，而SW-MSA就是上述所说的shifted local图中所表示的那样。因为swin transformer认为非重叠的切割特征图，切割之后的token信息不相交互，会造成图片边缘处信息的缺失。因此使用SW-MSA将各个图像联系起来，补齐图像与图像之间的信息。

       虽然说原先的各种注意力机制提出的想法都十分的好，但是在针对各种任务的时候，对于计算成本的消耗是十分的巨大的，为了缓解这种计算成本所带来的消耗， 本文是基于criss-cross基础上对swin transformer的改进，将原有的非重叠和移动窗口改为了交叉型窗口。学名为横向纵向线

        横向纵向条纹带宽。根据网络的深度调整条纹带宽的长度：浅层的宽度较小，深层的宽度较大。较大的条纹宽度可以增强相对较远距离元素之间的联系，以较小的成本获得更好的网络容量。并且本文在使用该模式窗口是采用并行使用，横向条带宽与纵向条带宽同时对图像进行处理，最后concat。如下图所示：

        

        根据 多头自注意力机制，输入特征X∈R^{(H*W)*C}投影到K个head中，然后每个head在水平条纹或者垂直条纹内进行局部自注意力处理。

        根据文中所给的前提，文章利用横条纹作为例子进行叙述：x被均匀的分成了等宽非重叠的横条纹[x^{1},x^{2},.......x^{M}],每个条纹都包含着sw * w个token,这里sw表示为条纹宽度，w表示为宽，用来调整平衡学习能力和计算复杂度。而根据图片所给的信息，红色的点表示为query值，绿色覆盖面表示为key值，在形式上，投影的k,q,v都包含d_{k}个维数，公式为：

        其中X^{i}∈R^{(sw*W)*C}在实验中假设自然图像没有所谓的位置偏差，则在实验过程中，会将k个head分为两等分，前半部分表示为横条纹带宽的自注意力，后半部分表示为纵条纹带宽的自注意力，最后将两个部分concat，公式入下图所示：

        cross-shaped window attention在使用过程中，文章解释道该操作可以增大感受野，可以理解为本身子啊对图像进行卷积操作过程中就是重叠式卷积，一点一点挪动，设置的步长和卷积核的大小不相同，因此也可以认为是另外一种形式的shift，只不过对于cross-shaped window attention来说是交叉型的方式来获取信息。

创新点2，locally_Enhanced Positional Encoding(局部增加位置编码)

        SA具有排列不变性，经常忽略二维图像中重要的位置信息，因此为了弥补这个缺陷，会在transformer中加入位置编码。

        如上图所示，本文对位置编码进行了更新，最左边的图的位置编码，在进入SA时要么对加入绝对位置编码要么就加入条件位置编码，然后送到transformer中进行运算，中间的图加入了相对位置编码，文章选择与其他两种方法不一样的方式，直接对值进行处理。

        对CPE的解释：CPE 本质解决的问题就是提高了分割后的小图片的空间信息，由于将图片分割成小图片后，排成一排输入进 Transformer 中时，会失去原本的图片的空间信息，最开始的位置编码，并不能完美的解决这个问题，而修改后的条件编码，一定程度上解决了这个问题        

        对RPE的解释：RPE表示既然在Transformer运行过程中相对位置信息是在self-attention计算时候丢失的，那么最直接的想法就是在计算self-attention的时候再加回来。

        对APE的解释：self_attention中，不管输入怎么排序，输出永远不变，那肯定不行，所以直接对某个位置上的信息直接定死，他就代表它本身。

        设值元素V_{i}和V_{j}之间的边用向量e_{ij}^{V}\in E表示，则：

Attention(Q,K,V)=SoftMax(QK^{T}/\sqrt{d})V + EV,

        然而，如果考虑E中的所有链接，将需要巨大的计算成本。假设对一个特定的输入元素，最重要的位置信息来自于他们局部领域，因此，提出局部增强位置编码(LePE),并使用该深度卷积算子对V进行计算：

Attention(Q,K,V)=SoftMax(QK^{T}/\sqrt{d})V + DWConv(V)

        以上就是本文对位置编码所做的调整。既然文章一直强调要使用本文网络降低计算量，那么下面说一下本文计算的复杂度。

        transformer的计算包含q,k,v，Q=x*W^{Q},K=x*W^{K},LePE(V)=V*W^{LePE},4个线性计算需要4HWC^{2},然而横条纹的self-attention的QK^{T}需要HW(C/2)*(sw)W,与V相乘需要HW(C/2)*(sw)W,纵条纹同理。那么总的复杂度为：

        可以跟swin transformer相比，

        可以看出复杂度没有发生变换，由于横纵两个方向并行计算和sw宽度的灵活性，计算量不增大的情况下，精度却大大提高了。 

网络整体架构

 

        上图就是CSwin transformer的整体框架，可以看出来是建立在swintransformer的基础上进行创新的，与swin transformer不同的地方在于:

        1、将MSA,SW-MSA更换成了cross-shaped window attention

        2、将patch merging更换成了conv（卷积核为3*3,步长为2）

        3、引入局部感应偏置，将LePE作为一个并联模块加入到自注意力中。

        首先输入一个H*W*3的RGB图像，利用重叠卷积获得\frac{H}{4}*\frac{W}{4}*C(通过一个卷积核为7*7，步长为4的卷积操作获得)，每个相邻的stage使用卷积操作，用来减少token的数量，增加通道数，因此构建第i层特征图具有\frac{H}{2^{i+1}}*\frac{W}{2^{i+1}}*2^{i}C。每个阶段由N_{i}个连续的Cswin tranformer block组成。

        那么采用了cross-shaped window attention 与locally-Enhanced Position Encoding可以将Cswin transformer block定义为：

 实验部分

         根据文章对于不同的网络所加入的东西不同，因此将本文的网络分为了上述四种。具体的实验结果可以在文章去查看，这里就不放出来了。

本文文章地址为：

https://arxiv.org/abs/2107.00652

本文在写作期间借鉴了一下参考，我认为都写得十分详细可以结合起来一起看：

论文阅读笔记 | Transformer系列——CSWin Transformer_Clichong的博客-CSDN博客

 SwinT的进阶：CSWin Transformer_Amusi（CVer）的博客-CSDN博客

男人啊，终归还是要放下些什么才行
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
YOLOv8改进 | 主干篇 | CSWinTransformer交叉形窗口网络
走向CTO的路上...
06-18 416
CSWinTransformer是一种基于窗口的Transformer架构，它利用交叉形窗口和深度卷积块来增强特征提取能力。该架构在ImageNet和COCO数据集上取得了显著的性能提升，并被证明可以有效地改进YOLOv8目标检测模型。CSWinTransformer架构是一种有效的改进YOLOv8主干网络的方法，它在目标检测和图像分割任务中取得了显著的性能提升。该架构具有较强的通用性，可以应用于多种视觉任务。
【CVPR2022】CSWin Transformer详解
走在深度学习前沿的小宋
05-30 2380
的核心设计是，它通过将Multi-head分成并行组，水平和垂直条纹进行Self-Attention。这种设计可以有效地扩大一个Transformer块内每个token的注意区域，并且随着stage的加深，SW宽度变宽感受野会迅速扩大。另一方面，将局部增强的位置编码引入到CSWin Transformer中，用于下游任务。在有限的计算复杂度下，在各种视觉任务上实现了先进的性能。如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。
三大网络结构之战！CNN、Transformer和MLP哪家强？
阿木寺的博客
09-02 3078
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨happy转载自丨极市平台导读中科大&MSRA对三大神经网络架构的特性进行了分析，通过构建一个统一架构S...
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上展示了非常好的性能。具体来说，它在没有任何额外训练数据或标签的情况下，在 ImageNet-1K 分类任务上达到了 85.4% Top-1 准确率，在 COCO 检测任务上达到了 53.9 box AP 和 46.4 mask AP，在 ADE20K 语义分割任务上达到了 51.7 mIOU，均超过了SwinT。通过在更大的数据集 ImageNet-21K 上进一步预训练，在 ImageNet-1K 上达到了 87.5% 的 Top-1 准确率，在 ADE20K 上达到了最先进的分割性能，达到了 55.7 mIoU。
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
qq_52302919的博客
11-18 1645
本文介绍了CSWin Transformer，这是一种高效、高效的基于Transformer的通用视觉任务主干。Transformer设计中的一个具有挑战性的问题使全局自注意力的计算非常昂贵，而自注意力通常会限制每个令牌的交互领域。为了解决这个问题，本文开发了十字形窗口自注意力机制，用于在形成十字形窗口的平行水平和垂直条纹中计算自注意力，每个条纹通过将输入特征分割为相等宽度的条纹而获得。本文对条带宽度的影响进行了数学分析，并为Transformer网络的不同层改变了条带宽度，从而实现了强大的建模能力，同时限
CSwin Transformer 学习笔记
athrunsunny的博客
10-11 753
Cswin提出了上图中使用交叉形状局部attention，为了解决VIT模型中局部自注意力感受野进一步增长受限的问题，同时提出了局部增强位置编码模块，超越了Swin等模型，在多个任务上效果SOTA（当时的SOTA，已经被SG Former超越）。模型整体结构如上所示，由和4个stageblock所堆叠而成，每个后面都会接入一个conv层，用来对featuremap进行下采样。和典型的R50设计类似，每次下采样后，会增加dim的数量，一是为了提升感受野，二是为了增加特征性。
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows（CVPR2022）
qihshe的博客
10-19 383
CSWin Transformer，一个高效且有效的基于Transformer的通用视觉任务骨干。
Transformer学习
04-13
学习Transformer的初学者适合，通俗易懂
深度学习-Transformer实战系列课程
09-23
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出的《Attention is All You Need》论文中首次介绍。Transformer模型以其创新性的注意力机制（Attention Mechanism）取代了传统的序列依赖模型，...
深度学习-transformer解读
02-04
### 深度学习-Transformer解读 #### Transformer简介与架构特点 Transformer模型是近年来自然语言处理（NLP）领域的一项重大突破，它摒弃了传统的循环神经网络（RNN）结构，采用了一种全新的机制——自注意力...
CSWin Transformer网络模型
weixin_42888638的博客
09-05 1571
CSwin-Transformers的学习记录
浅谈CSwin-Transformers
qq_29462849的博客
08-23 4156
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达【导语】局部自注意力已经被很多的VIT模型所采用，但是没有考虑过如何使得感受野进一步增长，为了解决这个问题，Cswin提出了使用交叉...
论文：CSWin Transformer
cztAI的博客
07-24 1313
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows 图像被分割为固定大小的图块（token），任意图块或多或少与其他图块有关系（依赖），对图块序列建模会产生长期依赖问题，目前全局 self-attention 能比较好的解决这个问题，而全局 self-attention 为二次计算复杂度，SWin Transformer （滑动窗口）采用局部 self-attention 解决计算复杂度问题，而
《论文阅读》AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS
未知丶的博客
03-11 5983
留个笔记自用 AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 这里又是一种trans
【Transformer】5、CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
呆呆的猫的博客
08-21 1584
论文：文章目录一、背景二、动机三、方法3.1 总体结构3.2 Cross-Shaped Window Self-Attention3.3 CSWin Transformer Block3.4 变体四、效果 一、背景 目前，基于transformer的方法在 CV 领域基本实现了和CNN相当的效果，其好的效果来源于内部多头自注意力机制对远距离依赖的建模能力，这对以高分辨率数据作为输入的下游方法（检测、分割等）都很有帮助。但另外，由于 Transormer 结构是全注意力结构，计算量很大。 二、动机 为了提高.
探索未来计算的新纪元：微软的CSWin-Transformer
最新发布
gitblog_00074的博客
04-26 434
探索未来计算的新纪元：微软的CSWin-Transformer 项目地址:https://gitcode.com/microsoft/CSWin-Transformer 在人工智能和计算机视觉领域，我们见证了无数创新技术的崛起。其中，微软的研究团队再次以他们的新项目——CSWin-Transformer，为我们打开了一扇通往更高效、更灵活的图像理解的窗口。这是一个深度学习模型，它结合了卷积神经网...
Axial Attention 轴向注意力，包括RowAttention 和 column Attention
wqq112692的博客
02-19 713
中提出了一种基于Transformer自注意力机制的Axial Attention。Axial Attention轴向注意力将二维输入分解为其轴向的组件，例如行和列，然后在每一个组件中，独立地为每个轴应用注意力，比如在每一行上面执行自注意力机制然后再再每一列上执行自注意力机制。感受野是目标像素的同一行(或者同一列) 的W(或H)个像素, 只有将Row-Attention和Column-Attention组合使用, 才能实现全局注意力。
CSwin transformer
09-07
CSWin Transformer是一种新的视觉Transformer架构，它作为通用的视觉Transformer骨干网络具有跨形窗口的特点。与Swin Transformer相比，CSWin Transformer具有相似的整体结构，但将Swin Transformer Block变为了CSWin Transformer Block，并将Patch Merging下采样变为了Conv下采样。 CSWin Transformer的核心是CSWin Self-Attention，它将多个head分成两个横竖两个方向的并行组，在水平和垂直条带上实现自注意。这种设计可以有效地扩大每个Transformer block内每个token的关注范围。此外，CSWin Transformer还引入了LePE模块，将位置信息直接加入到Value中。 CSWin Transformer的整体结构可以参考论文中的图示。它包含了CSWin Transformer Block，该块由LayerNorm和Cross-shaped window self-attention以及LayerNorm和MLP组成。 你可以在论文《CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows》中详细了解CSWin Transformer的网络结构和具体实现。 此外，你还可以在GitHub上找到CSWin Transformer的代码实现。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值