曼巴+遥感创新性结合，暴力涨点，好发不卷！

2024深度学习发论文&模型涨点之——Mamba+RS

曼巴（Mamba）结合遥感技术（Remote Sensing，简称RS）是一个新兴的研究领域，它利用了Mamba模型在处理序列数据时的高效率和全局建模能力，将其应用于遥感图像处理和分析中。

Pan-Mamba：这是一个用于Pan-sharpening（图像锐化）的方法，它提出了两个核心模块，包括Channel Swapping Mamba Block和Cross modality Mamba Block，以增强信息表示能力。

HSIDMamba：这是一个用于高光谱成像（HSI）去噪的方法，它通过Spectral Attention、Bidirectional State Space Module和Hyper Continuous Scan Block等模块来实现。

我整理了一些Mamba+RS【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

RSCaMa: Remote Sensing Image Change Captioning with State Space Model

RSCaMa：使用状态空间模型的遥感图像变化描述

方法

多CaMa层模型：提出了一个新颖的RSCaMa模型，通过多个CaMa层实现高效的联合时空建模。

空间差异感知SSM（SD-SSM）：引入了空间差异感知SSM来增强模型捕捉空间变化的能力。

时间遍历SSM（TT-SSM）：提出了时间遍历SSM，以时间交叉方式扫描双时相特征，增强模型的时间理解和信息交互。

语言解码器比较：系统比较了三种不同的语言解码器，包括Mamba、GPT风格解码器和Transformer解码器。

创新点

联合时空建模：通过多个CaMa层迭代细化双时相特征，实现了高效的联合时空建模。

空间变化感知增强：SD-SSM通过差异特征增强空间变化感知，提升了模型对变化的捕捉能力。

时间交互优化：TT-SSM通过时间交叉扫描方式优化了双时相特征的时间交互，提升了模型的时间理解能力。

性能提升：实验验证了RSCaMa模型的有效性，特别是在关键指标如BLEU-4和S∗m上表现出色，与最新PromptCC模型相比，BLEU-4提升1.70%，S∗m提升1.11%。

论文2：

Spectral-Spatial Mamba for Hyperspectral Image Classification

用于高光谱图像分类的光谱-空间Mamba

方法

光谱-空间Mamba（SS-Mamba）：提出了一个基于光谱-空间Mamba的学习框架，用于高光谱图像分类。

光谱-空间令牌生成：设计了一个光谱-空间令牌生成机制，将高光谱图像立方体转换为空间和光谱令牌序列。

特征增强模块：设计了一个特征增强模块，通过调制空间和光谱令牌来增强光谱-空间特征并实现信息融合。

创新点

计算效率：利用Mamba的计算效率和强大的长距离特征提取能力，显著减少了处理时间。

光谱-空间信息融合：通过光谱-空间令牌生成和特征增强模块，实现了光谱和空间信息的有效融合，提升了分类性能。

性能提升：与传统Transformer相比，SS-Mamba在多个广泛使用的高光谱图像数据集上表现出更优的分类性能。

论文3：

UV-Mamba: A DCN-Enhanced State Space Model for Urban Village Boundary Identification in High-Resolution Remote Sensing Images

UV-Mamba：一种增强的DCN状态空间模型，用于高分辨率遥感图像中的城中村边界识别

方法

UV-Mamba模型：提出了UV-Mamba模型，通过结合可变形卷积来缓解状态空间模型在长序列建模中的记忆丢失问题。

多路径扫描SSM模块：设计了多路径扫描SSM模块，通过八个方向的扫描结果聚合来捕捉复杂的空间关系。

空间自适应可变形增强器：利用可变形卷积的空间几何变形学习能力，更有效地适应城中村的多样化空间分布特征。

创新点

记忆丢失缓解：通过可变形卷积分配更大的权重给感兴趣区域，缓解了SSM在长序列建模中的记忆丢失问题。

全局建模能力增强：UV-Mamba模型在保持线性计算复杂度的同时，增强了全局建模能力。

性能提升：在两个城市（北京和西安）的实验中，UV-Mamba模型的性能超过了最先进的CNN和Transformer模型，分别在IoU上提升了1.2%和3.4%。

论文4：

RSMamba: Remote Sensing Image Classification with State Space Model

RSMamba：具有状态空间模型的遥感图像分类

方法

状态空间模型（SSM）：RSMamba基于状态空间模型，能够通过状态转换建立长距离依赖关系，并通过卷积计算执行这些转换，实现近线性复杂度。

Mamba架构：RSMamba结合了Mamba架构，该架构通过将时间变化参数纳入简单的SSM并进行硬件优化，实现了高效的训练和推理。

动态多路径激活机制：为了克服原始Mamba只能模拟因果序列且对空间位置不敏感的限制，RSMamba引入了动态多路径激活机制，增强了对非因果数据的建模能力。

全局特征建模：RSMamba通过将遥感图像分割成重叠的patch tokens，并添加位置编码形成序列，来捕获整个图像的全局依赖关系。

创新点

性能提升：RSMamba在多个遥感图像分类数据集上表现出色，相较于基于CNN和Transformer的分类方法，RSMamba在UC Merced、AID和RESISC45数据集上的分类精度分别提升了2.14%、2.02%和2.87%。

动态多路径激活机制：通过引入动态多路径激活机制，RSMamba能够有效地处理非因果数据，显著提高了对二维图像数据的建模能力。

全局特征捕获：RSMamba通过状态空间模型捕获整个图像的全局依赖关系，提供了更精确的语义线索，增强了场景判别的能力。

硬件优化：Mamba架构的硬件优化使得RSMamba在训练和推理上都表现出高效率，适合大规模预训练。

---