每日论文阅读01

Title: MambaHSI: Spatial–Spectral Mamba for Hyperspectral Image Classification

Published in: IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING

Contributionsspatial Mamba block (SpaMB)、spectral Mamba block (SpeMB)、spatial-spectral fusion module (SSFM)


目录

一、整体架构

二、SpaMB

三、SpeMB

四、SSFM

五、总结


一、整体架构

图1 整体结构

整体结构如上所示。先Embedding,再Encoder,最后分割头。 

Embedding就是Conv+GN+SiLU,这个GN就是Group Normalization,不同于LN、BN这些。

二、SpaMB

SpaMB上图所示,先展平将输入图片(B, H, W, C)处理成(B, HW, C),最后进行Mamba操作和后续的GN、残差等。

三、SpeMB

SpeMB按照channel进行划分,后续跟SpaMB一样。

四、SSFM

SSFM融合三部分,最后有个自适应加权操作,在代码里面就是torch.ones(2) / 2,给SpaMB和SpeMB两个都为0.5的初始权重,然后不断迭代,以达到自适应的效果。 

{H_{SSFM}} = {H_i} + {w_{spa}} \times {H_{spa}} + {w_{spe}} \times {H_{spe}}                               (1)

五、总结

1、空间和光谱上的特征融合

2、自适应加权(特别对于加权求和来说,这种自适应加权思路挺好的,可以规避有些老师会问你 加权系数怎么选取的,怎么自适应的!!!)

  • 6
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值