2024王炸组合!基于Mamba的遥感图像处理引爆顶会!

对比传统方法,基于Mamba的遥感图像处理在计算效率和分析精度方面遥遥领先,Mamba+遥感也成为了论文研究的新方向。

具体来说,在融合高分辨率的空间图像和低分辨率的光谱图像获取综合信息方面,Mamba可以提升性能,同时保持数据处理的效率。在降维、去噪、特征提取和大规模数据集处理等方面,Mamba通过优化计算资源使用,提高遥感数据分析的准确性和速度。

以北京航空航天大学发布RSMamba为例:

RSMamba是一种用于遥感图像分类的高效状态空间模型,它基于Mamba,并引入了动态多路径激活机制以提升性能,能够有效地捕捉遥感图像中的全局依赖关系,具有广泛的应用潜力。

RSMamba模型在不同版本下展现了优异的性能,在UC Merced数据集上,RSMamba-H(巨大版)达到了95.47%的准确率。

本文分享2024最新11种Mamba+遥感创新方案,代码已开源,论文可参考创新点做了简单分析,具体工作细节可阅读原文。

论文原文以及开源代码需要的同学看文末

Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model

方法:论文介绍了Samba,这是一种新颖的语义分割框架,构建在Mamba之上,专门用于高分辨率遥感图像的分割,标志着Mamba首次在该领域中的应用。

创新点:

  • 提出了Samba架构,首次将Mamba架构引入到遥感图像分割中。Samba架构利用了Mamba的编码器-解码器结构,通过Samba块作为编码器来高效提取多层次的语义信息,并通过UperNet作为解码器进行逐步上采样以产生分割结果。

  • Samba在常用的遥感数据集上实现了卓越的性能,成为Mamba架构在这一特定应用中性能的新基准。

  • 由于Mamba架构在处理长序列方面表现优异,因此在多通道数据(如高光谱数据)的语义分割中应用Mamba架构是有价值的探索方向之一。

RS-Mamba for Large Remote Sensing Image Dense Prediction

方法:论文提出了一种基于状态空间模型的Remote Sensing Mamba(RSM)方法。该方法利用SSM的全局建模能力和线性复杂度,可以处理大尺寸VHR遥感图像,提取全局上下文信息。同时,引入全方向选择性扫描模块OSSM,可以从多个方向提取大尺寸空间特征,有效完成密集预测任务。

创新点:

  • RSM用于处理极高分辨率(VHR)遥感图像中的密集预测任务。

  • RSM利用具有线性复杂度的状态空间模型(SSM)来处理大型VHR遥感图像,无需进行图像块分割。

  • RSM整合了全方向选择性扫描模块(OSSM),以从多个方向提取VHR遥感图像中的大型空间特征。

  • RSM在语义分割和变化检测任务中实现了最先进的性能,超越了基于CNN的模型和基于Transformer的模型。

Pan-Mamba: Effective pan-sharpening with State Space Model

方法:论文引入了一种新颖的全色锐化网络Pan Mamba,通过借鉴状态空间模型的思想。该网络包含了Mamba块、通道交换Mamba块和跨模态Mamba块,实现了高效的全局特征提取和跨模态信息交换。

创新点:

  • 首次尝试将Mamba模型引入到全色增强领域,并提出了一种新颖的全色增强网络。这种方法有助于有效的远程信息建模和跨模态信息交互。

  • 定制了通道交换Mamba块和跨模态Mamba块,实现了跨模态信息的有效交换和融合。

RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

方法:论文介绍了一种新的遥感图像语义分割网络RS3Mamba,用于解决卷积神经网络(CNNs)和Transformer在遥感图像语义分割中存在的一些问题。CNNs在长距离建模能力不足,而Transformer的计算复杂度较高。该研究利用Visual State Space(VSS)模型构建了一个辅助分支,通过Collaborative Completion Module(CCM)增强并融合来自双编码器的特征。

创新点:

  • 引入VSS辅助分支:通过使用VSS块构建辅助分支,RS3Mamba将全局信息引入到基于卷积的主分支中,从而提供额外的全局感知信息。

  • 引入协同补全模块(CCM):考虑到主分支和辅助分支的不同特点,作者引入了CCM模块来增强和融合双编码器的特征。CCM模块能够从全局和局部的角度分别增强特征,然后通过逐元素相加进行融合。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“曼巴遥感”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

Mamba作为一种状态空间模型(SSM),已经在多个领域展现了其高效性和轻量化的特点。特别是在医学图像分割任务中,通过将其集成到UNet架构中形成LightM-UNet[^2],实现了显著优于传统CNN和Transformer的方法的效果,同时大幅降低了参数数量和计算开销。 以下是关于如何使用Mamba进行图像预测的一些指导以及示例代码: ### Mamba 的基本概念 Mamba 是 SSM 的一种改进版本,在处理序列数据方面表现出色。相比于传统的 Transformer 和 CNN 架构,Mamba 提供了一种更加高效的解决方案来捕捉长距离依赖关系,并且能够适应不同的输入长度而不改变自身的参数设置[^4]。 ### LightM-UNet 中的应用 在医学图像分割场景下,LightM-UNet 利用了 Mamba 层代替标准卷积层或者自注意力机制,从而构建了一个既强大又紧凑的网络结构。这种设计不仅提升了模型的表现力,还极大地削减了所需的训练资源[^3]。 下面提供一段简单的 Python 实现片段,演示如何基于 PyTorch 使用 Mamba 进行基础的图像分类或回归任务: ```python import torch from mamba import MambaLayer class SimpleImagePredictor(torch.nn.Module): def __init__(self, input_channels=3, num_classes=10): super(SimpleImagePredictor, self).__init__() # 定义一个由几个 Mamba Layer 组成的小型神经网络 self.mamba_layer_1 = MambaLayer(input_size=input_channels, hidden_size=64) self.conv_layer = torch.nn.Conv2d(in_channels=64, out_channels=num_classes, kernel_size=(1, 1)) def forward(self, x): batch_size, channels, height, width = x.shape # 将二维图像转换为适合 Mamba 处理的一维向量形式 x = x.view(batch_size, channels, -1).permute(0, 2, 1) # 应用第一个 Mamba layer x = self.mamba_layer_1(x.permute(0, 2, 1)).permute(0, 2, 1) # 转回原始形状并添加最终卷积层 x = x.permute(0, 2, 1).view(batch_size, -1, height, width) output = self.conv_layer(x) return output.mean(dim=[-1,-2]) # 对空间维度取平均得到类别分数 # 创建实例对象并测试前向传播过程 model = SimpleImagePredictor() dummy_input = torch.randn((8, 3, 32, 32)) # 假设输入一批次大小为8、RGB三通道、分辨率32x32像素的图片 predictions = model(dummy_input) print(predictions.shape) # 输出应为 (batch size, number of classes),即此处应该是 (8, 10) ``` 上述代码定义了一个小型的图像预测器类 `SimpleImagePredictor` ,其中包含了两部分主要组件:一是负责学习全局特征表示的 Mamba Layers;二是用来映射学到的特征至目标标签空间的传统 Convolutional Layers 。整个流程展示了从原始图像数据经过预处理送入模型直至获得最后预测结果的过程。 需要注意的是实际项目开发过程中可能还需要考虑更多细节问题比如优化算法的选择、损失函数的设计等等因素才能达到理想中的性能指标。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值