Mamba再下一城！ChangeMamba：利用时空状态空间模型进行遥感变化检测

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和遥感】微信交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

ChangeMamba:基于时空状态空间模型的遥感多时相任务处理架构

这是Mamba架构在遥感图像变化检测任务上的首次尝试，论文和ChangeMamba已公开，作者团队来自日本东京大学，武汉大学和日本理化学研究所。

变化检测是利用不同时间获取的遥感影像数据,分析和识别地物变化信息的重要遥感应用任务,在土地利用监测、生态环境评估、灾害应急等领域都有着广泛需求。随着高分辨率遥感数据的爆发式增长,如何快速、准确地检测多时相影像间的变化信息,成为遥感领域的研究热点和难点。

近年来,深度学习方法尤其是卷积神经网络和Transformer在变化检测任务上取得了长足进展。然而,这两类模型仍存在一些固有缺陷:卷积神经网络的感受野有限,难以捕获像素间的长程依赖;而Transformer虽然能够建模全局信息,但在图像尺寸较大时计算复杂度呈平方级增长。最近,一种新的深度学习模型Mamba在自然语言处理领域崭露头角。Mamba基于状态空间序列模型,不仅能有效建模全局信息,计算复杂度还可以线性增长,有望克服上述两类模型的局限性。

受此启发,我们首次探索将Mamba架构引入遥感变化检测领域,针对变化检测的三个子任务:二分类变化检测(BCD)、语义变化检测(SCD)和建筑物损毁检测(BDA),分别设计了对应的网络框架MambaBCD、MambaSCD和MambaBDA。

三个框架的编码器均采用目前最先进的视觉Mamba架构,能够借助Mamba模型和高效的二维跨扫描机制(cross-scan mechanism),充分学习输入影像的全局空间上下文信息。

对于三个架构共有的变化解码器,我们提出了三种基于Mamba架构的时空关系建模机制,可以与Mamba很好地融合,从多尺度特征中充分挖掘时空关系,逐步获得精准的变化信息。

为了全面评估我们方法的有效性,我们在五个公开基准数据集上进行了大量实验。结果表明,我们提出的三个架构在各自对应的任务上,均优于目前最先进的基于卷积神经网络和Transformer的方法,在不借助任何复杂策略的情况下就取得了领先的性能,充分展现了Mamba架构在变化检测领域的巨大潜力。

具体而言,我们在三个BCD数据集SYSU、LEVIR-CD+和WHU-CD上分别获得了83.11%、88.39%和94.19%的F1值;在SCD数据集SECOND上获得了24.04%的语义Kappa系数;在BDA数据集xBD上获得了81.41%的整体F1值，定量分析也展现出卓越的性能。

我们的主要贡献包括:

1. 首次将Mamba架构引入遥感变化检测领域,实现了高精度高效的变化检测;

2. 针对BCD、SCD和BDA三个子任务设计了对应的Mamba网络框架;

3. 提出了三种基于Mamba的时空关系建模机制,可充分学习时空特征;

4. 在五个基准数据集上取得了领先的性能,验证了方法的优越性。

我们相信,引入先进的Mamba架构并针对变化检测的特点进行改进,可以为遥感变化检测任务提供新的思路和方向。未来,我们还将进一步探索Mamba在其他遥感应用中的潜力,欢迎大家关注我们的后续工作!

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba和遥感交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba和遥感微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba或者遥感+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看