[论文笔记]SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection

最新推荐文章于 2024-01-22 19:13:59 发布
最新推荐文章于 2024-01-22 19:13:59 发布
阅读量2.5k 收藏 25
点赞数 1
分类专栏： 遥感图像 transformer 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmt_like/article/details/127027207
版权

1 论文标题

标题： SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection
作者： Cui Zhang , L i e j u n W a n g , Shuli Cheng , and Y ongming Li
发表地方： IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, VOL. 60, 2022

2 论文的结构

2.1 Abstract

作者想解决什么问题？

  虽然CNN在CD领域取得了巨大的成就，但是它不能有效的捕捉全局信息。

作者通过什么模型来解决这个问题？

  transformer是近年来提出的，它可以有效地提取全局信息，因此被用于解决计算机视觉（CV）任务，并取得了一些成就。在本文中，我们设计了一个采用连体U形结构的纯transformer网络来解决CD问题，并将其命名为SwinSUNet。

作者给出的答案是什么？

  对四个CD数据集进行了实验，在这些实验中，SwinSUNet取得了比其他相关方法更好的结果。

2.2 Introduction

作者使用的理论是基于哪些模型？

  Swin transformer

主要贡献

  提出一种纯transformer的模型用于变化检测，并且SwinSUNet是第一个用于CD任务的纯transformer网络。

2.3 Related work

和作者这篇论文相关的工作有哪些？

  CNN：FC-EF、STANet、DASNet、SNUNet
  tranformer：BIT、CAM(方法)

重要的相关论文

  Z. Liu et al., “Swin transformer: Hierarchical vision transformer using shifted Windows,” 2021, arXiv:2103.14030.

之前工作的优缺点是什么？

  由于卷积操作固有的局部性，基于CNN的方法不能有效地提取长期的全局特征，从而限制了CD网络的能力。与之前的方法不同，本文试图探索纯transformer网络在CD任务中的潜力。

作者主要是对之前的哪个工作进行改进？

  Swin transformer

2.4 METHODOLOGY

模型结构图

在这里插入图片描述

Swin transformer

  窗口transformer，本文将W-MSA和SW-MSA两种划分窗口的方式交替使用。W-MSA：将特征图分为若干个大小为MxM的窗口，仅仅在每个窗口进行self-attention计算，但是这种方法忽略了窗口之间的交流，所以产生出SW-MSA方法。

encoder

  假设输入大小为HxWxC,首先，将图片划分为大小为4x4x3的小patch，然后将每一个小patch转化为1维数据，大小为48，然后使用线性嵌入的方法（本文采用全卷积的方法）将48转换为通道C，所以输出大小为 H/4 x W/4 x C。与Swin transformer一样，我们也使用贴片合并层来完成下采样操作。在每个阶段，特征图的分辨率减半，而维度则增加一倍。操作如图所示：
在这里插入图片描述

Fusion

  Fusion主要用于合并编码器生成的两个特征图，Fusion由一个连接层（连接两个特征图）、一个线性投影层（降低维度）和两个Swin transformer块（有效融合）组成。在此过程中，分辨率保持不变。

Decoder

  每一层包括UM块和若干个Swin transformer块组成，每一次操作，将像素扩大一倍，通道减小一倍。再完成3次后，大小变为H/4 × W/4 x C,最后再通过使用一个线性映射将通道C变为2，生成一个变化图。其中UM模块：由一个上采样块和一个合并块组成。具体操作如图所示：
在这里插入图片描述

patch Reshaping操作：
在这里插入图片描述

2.5 Experiment

用到了哪些数据集

  CDD、WHU-CD、OSCD、HRSCD

与什么算法进行了比较

  CDNet, FC-EF,
FC-Siam-conc, FC-Siam-diff, DASNet,
STANet.

实验中的重要指标有哪些？

  TP , TN, FP , FN, precision, recall, F1-score, and overall accuracy (OA).

文章提出的方法在哪些指标上表现好？在哪些指标上表现不好？

在这里插入图片描述

实验中作责实验环境已经参数

  GPU：Nvidia Titan XP；optimizer：Adam；epochs：200，learning rate：0.00001。作者采用简单的翻转操作进行数据增加，每次保存F1分数最高的模型来进行评估。

2.6 Conclusion

这篇论文最大的贡献是什么？

  提出了SwinSUNet，一个具有Siamese U形结构的纯Swin transformer网络。这是第一个基于纯transformer的CD网络。

3 不懂之处

流氓兔爱学习
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【ChangeFormer论文】A TRANSFORMER-BASED SIAMESE NETWORK FOR CHANGE DETECTION
向上生长的程序媛的博客
12-19 1040
摘要：论文提出的ChangeFormer网络，与最近的变化检测网络不同的地方是：它是基于全卷积网络，设计了一个包含多层级结构的编码模块和MLP的解码模块的孪生网络，它能获得多尺度、长距离的不同粒度特征，并且端到端的网络在公开数据集上表现良好。
论文笔记：Residual Feature Distillation Network for Lightweight Image Super-Resolution
起风了丿的博客
01-29 1271
（1）受益于CNN强大的拟合能力，图像超分取得了极大的进展。尽管基于CNN的方法取得了极好的性能与视觉效果，但是这些模型难以部署到端侧设备(高计算量、高内存占用)。（2）为解决上述问题，已有各种不同的快速而轻量型的CNN模型提出，IDN(Information Distillation Network, IDN)是其中的佼佼者，它采用通道分离的方式提取蒸馏特征。然而，我们并不是很清晰的知道这个操作是如何有益于高效SISR的。
ChangeDetection:使用PyTorch进行变更检测的框架
05-22
Change Detection 一个用 PyTorch 编写的，专门针对变化检测 (Change Detection) 任务的模型框架。 结果可视化（部分） Siamese_unet_conc + Szada TODO 参考 写在前面 为什么写这个项目？ 变化检测（Change Detection，CD）任务与其他任务，如语义分割，目标检测等相比，有其特有的特性（坑），如数据集少（少到可怜那种，尤其是异源，我**），公开的模型也很少，输入常常是成对的（导致一些在 PyTorch 中常用的函数，如Random系列等需要做出一些改变），给初学者带来了很大的困扰（对，没错就是我），所以我将毕设期间写的一些代码，仿照 maskrcnn-benchmark 整理一下发布出来。 特性 边训练边测试（可选） 由于数据集数量较少，以及 CD 只是一个 “二分类” 问题，所以模型一般较为简单，因此边训练边
Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images
weixin_43921949的博客
10-09 6863
Swin-UNETR
Swin-Unet论文研读
Acmer_future_victor的博客
05-26 8229
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation 论文：https://arxiv.org/pdf/2105.05537.pdf 代码：https://github.com/HuCaoFighting/Swin-Unet（应该是暂未开源） Abstract(摘要) 在过去的几年里，卷积神经网络(CNNs)在医学图像分析中取得了里程碑式的成就。尤其是基于U型结构和跳跃连接的深度神经网络在各种医学图像任务中得到了广泛的应用
[深度学习论文笔记]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
Slientsake的博客
05-26 4万+
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation Swin-Unet：用于医学图像分割的类Unet纯transformer 论文：https://arxiv.org/abs/2105.05537 代码：https://github.com/HuCaoFighting/Swin-Unet
【论文阅读笔记】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_46056318的博客
01-22 4972
Swin-Unet：用于医学图像分割的类Unet纯Transformer2022年发表在 Computer Vision – ECCV 2022 WorkshopsPaperCode在过去的几年里，卷积神经网络（CNN）在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络，已经广泛应用于各种医学图像任务中。然而，尽管CNN取得了优异的性能，但由于卷积运算的局部性，它不能很好地学习全局和远程语义信息交互。
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation论文解读
qq_45041871的博客
01-17 2271
本文介绍了一种新型的基于纯Transformer的U形编解码器用于医学图像分割。为了充分发挥Transformer的强大功能，我们将Swin Transformer块作为特征表示和远程语义信息交互学习的基本单元。广泛在多器官和心脏分割任务上的实验表明，所提出的Swin-Unet具有良好的性能和泛化能力。
论文阅读笔记-TransFG: A Transformer Architecture for Fine-Grained Recognition
XZH16047129的博客
03-24 2047
目录 摘要 1.引言 2.相关工作 3.方法 3.1 Vit作为特征提取器 3.1.1 图像序列化 3.1.2 patch嵌入 3.2 TransFG 结构 3.2.1 区域选择模块 摘要 细粒度视觉分类(FGVC)旨在从子类别中识别对象，这是一项非常具有挑战性的任务，因为其固有的微妙的类间差异。现有的工作主要通过重用主干网络提取检测到的识别区域的特征来解决这一问题。然而，这种策略不可避免地会使管道复杂化，并推动建议的区域包含对象的大部分部分，因此无法定位真正重要的部分。 .
【论文+代码】Swin-Unet Unet-Like Pure Transformer for Medical Image Se
最新发布
05-11
【论文+代码】Swin-Unet Unet-Like Pure Transformer for Medical Image Segmentation 代码亲测可运行，想要读代码改进的，从main.py开始
WHU-RS19 武汉大学深度学习数据集
12-11
Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remo 所用数据源 WHU-RS Dataset. 从Google Earth（Google Inc.）收集的WHU-RS数据集[6]是一个新的公开可用的数据集，其包含大小为600×600像素的950幅图像，均匀分布在19个场景类中。一些示例图像如图5所示。我们可以看到，一些类别中的照明，尺度，分辨率和viewpoint-dependent外观的变化使得它比UCM数据集更复杂。
超分算法TTSR：Learning Texture Transformer Network for Image Super-Resolution 基于参考图像Ref的超分辨率重建
qq_45122568的博客
05-07 4029
这篇文章TTSR应该是第一次将transformer引入到超分任务中，且是基于参考图像的超分重建RefSR，文章发表在CVPR2020。基于参考图像的超分不同于单图像超分，更注重于图像细节的还原，通过迁移参考图像中的相似纹理来还原HR图像。基于参考图像的超分文章并不多，这种方法的局限性比较大。TTSR是基于SRNTT这篇文章进行了改进，加入注意力机制，能选择更相似的纹理来完成SR图像恢复。 原文链接：TTSR：Learning Texture Transformer Network for Image S.
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割
川川自溢的博客
03-15 7398
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割 文章中可以跳转具体的代码解析
Transformer论文阅读（二）：Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_38296005的博客
08-20 2262
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation 【用于医学图像分割的Unet形的纯Transformer】Abstract1 Introduction2 Realted work2.1 CNN-based methods2.2 Vision transformers2.3 Self-attention/Transformer to complement CNNS3 Method3.1 Architecture over
SwinUNet2022
qq_45033722的博客
03-16 9225
1. 概述 本文提出了一种以SwinSwinSwin变压器层为基本块的SUNetSUNetSUNet恢复模型，并将其应用于UNetUNetUNet架构中进行图像去噪。 2. 背景 图像恢复是一种重要的低级图像处理方法，可以提高其在目标检测、图像分割和图像分类等高级视觉任务中的性能。在一般的恢复任务中，一个被损坏的图像Y可以表示为： Y=D(X)+n(1) Y=D(X)+n \tag 1 Y=D(X)+n(1) 其中XXX是一个干净的图像，D(⋅）D(\cdot）D(⋅）表示退化函数，nnn表示加性噪声。一些
SUNet: Swin Transformer UNet for ImageDenoising
u013049912的博客
06-15 3395
图像恢复是一个具有挑战性的不适定问题，也是一个长期存在的问题。在过去的几年中，卷积神经网络(cnn)几乎主导了计算机视觉，并在不同层次的视觉任务中取得了相当大的成功，包括图像恢复。然而，最近基于Swin transformer的模型也表现出了令人印象深刻的性能，甚至超过了基于cnn的方法，成为高级视觉任务的最先进的技术。在本文中，我们提出了一个名为SUNet的恢复模型，它使用Swin Transformer层作为我们的基本块，然后应用到UNet体系结构中进行图像去噪。
基于SwinTransformer+UNet的遥感图像语义分割
白景屹的博客
05-26 1万+
目录摘要1.Introduction 摘要 全局上下文信息（context information）对于遥感图像的语义分割至关重要。然而，现有的大多数方法都依赖于卷积神经网络（CNN），由于卷积运算的局部性（locality），直接获取全局上下文信息充满了挑战性。受具有强大全局建模能力的Swin transformer的启发，我们提出了一种新的 Remote Sensing image 语义分割框架，称为ST-U网络，该框架将Swin transformer嵌入到基于CNN的经典UNet中。ST UNet.
SwinUnet官方代码训练自己数据集（单通道灰度图像的分割）
热门推荐
qq_37652891的博客
04-03 4万+
官方Swin-Unet代码训练自己的数据集
Swin-Unet模型代码详解及改进思路
weixin_66118776的博客
04-03 6409
swin-unet模型学习
STransFuse: Fusing Swin Transformer and Convolutional Neural Network for Remote Sensing Image Semantic Segmentation
06-09
STransFuse是将Swin Transformer和卷积神经网络（CNN）相融合的一种方法，用于遥感图像语义分割任务。具体而言，STransFuse首先使用Swin Transformer提取图像的全局特征，然后将这些特征与CNN中提取的局部特征进行融合，从而获得更准确的语义分割结果。在实验中，STransFuse在多个遥感图像数据集上取得了优异的性能表现，证明了其在遥感图像分析中的有效性和实用性。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值