[論文筆記] Swin Transformer

最新推荐文章于 2024-04-27 12:07:25 发布
最新推荐文章于 2024-04-27 12:07:25 发布
阅读量107 收藏
点赞数
分类专栏： Vision Transformer 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JYLin_master/article/details/125038619
版权

目录

1. Introduction

2. Related Work

3. Method

3.1. Overall Architecture

3.2. Shifted Window based Self-Attention

Self-attention in non-overlapped windows

Shifted window partitioning in successive blocks 

Efficient batch computation for shifted configuration

Relative position bias

3.3. Architecture Variants

4. Experiments

4.1 Image Classification on ImageNet-1K

4.2. Object Detection on COCO

4.3. Semantic Segmentation on ADE20K

5. Conclusion

參考文獻

1. Introduction

略

2. Related Work

略

3. Method

3.1. Overall Architecture

此模型的設計，能輸出類似一般 CNN 的階層表徵，因此能很方便的將其用於替換其他視覺任務模型的骨幹。下面先介紹模型架構中的幾個運算層 :

  • Patch Partition Layer
    • 將輸入的RGB圖像，拆分成多個尺寸為 4x4 且不重疊的 patches。
    • 每個 Patch 中所有像素值會被 Concat 成一個向量，形成一個特徵維度為 4 x 4 x 3 的token 。
  • Linear Embedding Layer
    • 將 Patch Token 的特徵向量，映射至另一空間中，使其維度變成 C
  • Swin Transformer Block
    • 此運算不會改變輸入輸出的尺寸與維度
    • 包含了幾個模塊 :
      • Residual Connection
      • LayerNorm
      • W-MSA : 一般的 Multi-Head Self Attention
      • SW-MSA : 基於 Shift Windows 的 Multi-Head Self Attention
      • 搭配 GELU 的 MLP
  • Patch Merging Layer
    • 減少 Token 數量，增加特徵維度，產生類似 CNN 階層特徵圖的效果
    • 將多組相鄰的 2 x 2 個 Tokens 進行 Concat 運算後，減少 Token 數量並增加其維度至 4C
    • 進行一個線性轉換，使特徵維度降至 2C

3.2. Shifted Window based Self-Attention

  • 在原始的 Transformer 以及 Vision Transformer 中，都採用了全局自注意力，因此每個 Token 之間都需要被計算。
  • 這樣會產生 O(N^2) 的計算複雜度 (N 為 Token 數量)，因此難以被使用在視覺任務中
  • 論文中，先是使用self-attention within local windows 降低計算量，再使用 shifted window partitioning 建立局部資訊的連結。

Self-attention in non-overlapped windows

  • 為了提升建模效率，我們只在 local window 中計算自注意力
  • 圖像被平均切割成多個 windows，每個 window 中都包含 M x M 個 Patches
  • 計算複雜度的比較
    • 假設圖像共有 hw 個 PatcH，Window 中含有 M x M 個 Patch
    •  \Omega (MSA)=4hwC^2 + 2(hw)^2C
    • \Omega (W-MSA)=4hwC^2 + 2M^2hwC
    • 因此當 hw 很大時，W-MSA 能降低計算量

Shifted window partitioning in successive blocks 

  • W-MSA 因為只在window 內計算 SA，因此缺乏 window 之間的連結，也限制了其建模的能力
  • 提出了shifted window partitioning approach，讓相鄰的兩個 Swin Transformer blocks 交替使用不同的分隔設置

Efficient batch computation for shifted configuration

  • 使用了 shifted window partitioning 後會產生一個問題: 每次切割完得到的窗口數量不同，且窗口尺寸會改變。(以上圖為例， 窗口數量在 shift 後從 2x2 變成 3x3)
  • 為了保持自注意力計算輸入的窗口尺寸相同 (以上圖為例 4 x 4)，直觀的作法是先 padding  尺寸較小的窗口，並搭配 mask 去除 padding 部分的計算，但這樣做會增加計算量。
  • 論文中提出 cyclic-shifting，將尺寸較小的窗口合併計算， 再使用 mask 去除不同區域之間的自注意力計算

 

Relative position bias

  • 在計算自注意力時，參考了之前的研究，加上了與 Q, K 相對位置相關的項 B 

  • 每一軸，Q, K 之間相對位置的值域為 [-M+1, M-1] (其中 M 為窗口的大小)
  • 構建一個可訓練的 \hat{B} \in R^{ (2M-1)\times (2M-1) } ，用來查詢 B 的值
  • 加上Relative position bias後，效果比不加或是使用一般位置編碼來的好

3.3. Architecture Variants

略

4. Experiments

4.1 Image Classification on ImageNet-1K

4.2. Object Detection on COCO

4.3. Semantic Segmentation on ADE20K

5. Conclusion

  • 提出了新的架構，特性是:
    • 可產生類似 CNN 的階層特徵
    • 計算量與影像的尺寸呈線性關係
  • 在影像分類、目標檢測、語意分割任務取得SOTA表現
    • ImageNet
    • COCO
    • ADE20K

參考文獻

  1. Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
  2. 【Swin Transformer】W-MSA与MSA时间复杂度的理解
傷心太平洋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Stable multi-wavelength erbium-doped fiber laser based on dispersion-shifted fiber and Sagnac loop filter
02-10
A multi-wavelength erbium-doped fiber laser (MEDFL) with simple line structure is experimentally demonstrated by using a Sagnac interferometer as a comb filter. It is shown that the multi-wavelength lasing is quite stable at room temperature due to the four-wave mixing (FWM) effect among different laser channels in the dispersion-shifted fiber cooperated in the laser cavity.
【SwinTransformer源码阅读二】Window Attention和Shifted Window Attention部分
丑小鸭
07-20 3533
swintransformer源码阅读
论文阅读|Swin transformer
weixin_45782047的博客
01-19 3151
Transformer系列论文阅读|Swin Transformer
[Transformer]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_37151108的博客
10-20 4091
Swin-UNet：基于纯Transformerde的医学图像分割网络 Abstract 近年来CNN已经成为医学图像分析任务的基础结构，尤其是融合了编解码结构和skip-connection的U型网络广泛应用于各种医学图像分析任务。然而受限于卷积操作的局部性，CNN并不能很好的学习全局信息以及长程语义信息。 本文提出的Swin-UNet,是一个纯基于Transformer搭建的U型网络，可以用于医学图像分割任务。
Swin-UNet取标记后的图像patch作为输入，搭建的U型网络包含编解码结构以及skip
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows详细解读
weixin_47166887的博客
11-12 4004
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。本文主要是为了记录在学习过程中遇到的一些问题，希望可以给大家带来帮助~ 摘要 本文介绍了一种称为Swin Transformer的新型视觉Transformer，它可以用作计算机视觉的通用backbone 目前Transfo
Swin Transformer:Hierarchical Vision Transformer using Shifted Windows
Acmer_future_victor的博客
03-30 1070
Swin Transformer:Hierarchical Vision Transformer using Shifted Windows Abstract 本文提出了一种新的视觉转换器，称为Swin Transformer，它可以很好地作为计算机视觉的通用主干。将Transformer从语言转换为视觉的挑战来自这两个领域之间的差异，例如视觉实体的大小差异很大，图像中的像素与文本中的文字相比分辨率较高。为了解决这些差异，我们提出了一种 分层转换器，其表示是通过移位窗口来计算的。移位窗口方案通过将自注意计算
【论文阅读】Swin transformer解读
毛毛的博客
07-16 3759
文章目录前言Abstract1. Introduction2. Related Work3. Method3.1 Overall Architecture3.2 Shifted Window based Self-Attention3.3 Architecture Variants4. 结果4.1 KITTI上的BEV目标检测5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ Abstract Swin Transformer可以作为计算机视觉的通用主干。将
论文速读：FAIR 最新 ViT 模型 改进多尺度 ViT --- Improved Multiscale Vision Transformers
u014546828的博客
12-22 3220
本文研究了多尺度 Vision Transformers (MViT) 作为一个统一的体系结构，进行图像和视频分类，以及目标检测。 本文提出了一个改进的 MViT 版本，它包含了分解的相对位置 embeddings 和残差池化（residual pooling）连接。
论文阅读笔记 | Transformer系列——Swin Transformer
Clichong
10-25 1736
如有错误，恳请指出。 文章目录1. Introduction2. Related Work3. Swin Transformer Method3.1 Overall Architecture3.1.1 Architecture3.1.2 Swin Transformer block3.2 Shifted Window based Self-Attention3.2.1 Self-attention in non-overlapped windows3.2.2 Shifted window partit.
Swin Transformer 实现图像分类
05-29
Swin Transformer 实现图像分类完整代码，拿走即用，路径都是相对路径不用改，自带预训练权重和数据集，不懂可以交流，随随便便参加比赛项目，毕业设计等。
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： ...
swin transformer权重
08-11
swin transformer权重
Swin-Transformer.zip
12-06
Swin-Transformer图像分类实战，详见文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/121744503?spm=1001.2014.3001.5501
Swin transformer
10-30
Swin transformer
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 23
weixin_65403042的博客
04-22 1919
由于self - attention 一般都是在big model 的一部分，所以，一般不会对模型造成决定性的影响， 只有当model 的输入较长的时候， 例如图中： 图片处理 ： 256 * 256 的输入，self-attention 就会得到一个 256 * 256 的平方的 矩阵；// todo 这是因为自注意力机制的目的是计算序列中每个元素对于序列中每个其他元素的注意力得分，所以我们需要一个 N×N 的矩阵来表示这些得分。和你做函数的代换法的时候 用 u 代表变量 x 的行为没什么两样啦。
深度学习基础：循环神经网络中的Dropout
weixin_39753819的博客
04-24 439
Dropout是一种用于深度学习模型的正则化技术，旨在减少模型的过拟合。它的基本思想是在训练过程中，随机地将一部分神经元的输出置为零，从而减少神经元之间的相互依赖关系，降低模型对特定神经元的依赖性，提高模型的泛化能力。本文介绍了Dropout在深度学习中的基本概念和原理，以及在循环神经网络中如何使用Dropout来解决过拟合问题。通过一个简单的Python示例，我们演示了如何在PyTorch中实现带有Dropout的循环神经网络，并观察了训练过程中的损失变化。
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
最新发布
沅的博客
04-27 701
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
深度学习-线性代数
Einstein·Jun
04-24 920
keepdim=True是一个参数，当设置为True时，它会使得聚合操作后的张量在被聚合的维度上仍然保持一个大小为1的维度，而不是完全去除这个维度。第一个位置的元素保持不变（因为没有之前的元素可以相加），之后的每个位置的元素都是它自身和它之前所有元素的和。A是一个m×n的矩阵，x是一个n×1的一列，所以得到一个m的列向量。axis=1 即第二维度------按行方向操作。axis=1即第二维度------按列方向操作。二维的：axis=0即第一维度------按行方向操作。此时，就跟二维的有所区别。
用了Keras来构建一个卷积神经网络对MNIST数据集进行分类
活到老、学到老
04-24 286
首先导入所需库和模块，然后加载MNIST手写数字数据集并对数据进行预处理。接着定义了一个基于卷积神经网络（CNN）的模型，该模型包含多个卷积层、最大池化层以及Dropout层作为正则化手段。模型最后接一个全连接层作为输出层，使用softmax激活函数处理多分类任务。模型编译阶段设置了损失函数为“categorical_crossentropy”，优化器为Adam，评估指标为准确率。之后使用训练数据对模型进行训练，并在测试集上评估模型的性能，最终输出测试集上的准确率。
swin transformer论文
03-16
"Swin Transformer" 是一篇论文，作者是 Google AI 团队。这篇论文提出了一种新型的 Transformer 架构，称为 "Swin Transformer"。与传统的 Transformer 架构相比，Swin Transformer 在计算上更加高效，能够在同样的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值