Title: MambaHSI: Spatial–Spectral Mamba for Hyperspectral Image Classification
Published in: IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
Contributions: spatial Mamba block (SpaMB)、spectral Mamba block (SpeMB)、spatial-spectral fusion module (SSFM)
目录
一、整体架构
图1 整体结构
整体结构如上所示。先Embedding,再Encoder,最后分割头。
Embedding就是Conv+GN+SiLU,这个GN就是Group Normalization,不同于LN、BN这些。
二、SpaMB
SpaMB上图所示,先展平将输入图片(B, H, W, C)处理成(B, HW, C),最后进行Mamba操作和后续的GN、残差等。
三、SpeMB
SpeMB按照channel进行划分,后续跟SpaMB一样。
四、SSFM
SSFM融合三部分,最后有个自适应加权操作,在代码里面就是torch.ones(2) / 2,给SpaMB和SpeMB两个都为0.5的初始权重,然后不断迭代,以达到自适应的效果。
(1)
五、总结
1、空间和光谱上的特征融合
2、自适应加权(特别对于加权求和来说,这种自适应加权思路挺好的,可以规避有些老师会问你 加权系数怎么选取的,怎么自适应的!!!)