无监督的光谱超分辨
创新点
- 提出了一个叫做 CUCaNet的无监督高光谱超分辨模型,将高光谱的物理混合特性建模进入网络。
- 设计了一个交叉注意模块(Cross-Attention),可以提取HSI/MSI中的空间或者光谱信息到另一个分支,产生更充分的空间光谱信息混合。
- 使用正则化来约束解空间,使其收敛更快。
Coupled Unmixing Nets with Cross-Attention
模型总览
- Backbone: 双流的卷积自编码,将HS与MS数据分解为端元与对应丰度值
- 受CNMF影响,将融合后的HrHSI作为HSI分支的映射结果输入MSI分支。
- 另外两个卷积层模拟空间与光谱下采样过程
- 使用合适的一致性,必要的解混机制
- 首次将Cross-attention引入
输入/出介绍
- 拥有低分辨率,但多光谱通道的LrHSI图像X
- 拥有高分辨率,但低光谱通道的HrMSI图像Y
- 以上两者均成对出现,为同时的两张照片
- 输出目标为与Y相同空间分辨率(单通道像素数),和与X相同通道数的,目标图像HRHSI——Z
基本假设
退化假设
- X图像来自于Z图像的空间退化(Spatial Degradation)
- Y图像来自于Z图像的光谱退化(Spectral Degradation)
因此,两者分别再次进行光谱退化和空间退化后,一定是可以对齐的。
混合假设
由于高光谱图像的混合特性,假设最终图像的端元组为A,对应丰度值为S
因此退化过程就可以视为:
其中C表示PSF(point spread function)
R表示SRF(spectral response function)
因此,由上可知,理想的解混应该是通过上述两个式子,结合C,R两个先验知识,分别解出S与A
约束
由于直接从X,Y到S和A是在空间上不可能的,一次你必须加入约束,例如丰度和为一约束(ASC)和丰度非负约束(ANC)。
但是,由于C,R先验知识很难获得,因此,采用了两者在再次退化上对齐,使低分辨率低光谱图象U成为最终目标。
网络架构
双编码器
由卷积+LReLU块组成(1*1卷积)
Cross-Attention
First. 分别在LrHSI和MrMSI分支上计算空间与光谱注意力
Second. 将原始特征与另一个分支注意力图相乘,得到重要的跨分支信息
Finally. 将原始特征与以上的交叉乘法聚合起来,并作为下一层的输入
空间光谱一致性
损失函数
- 基础重建损失,使用了L1范数
- ASC约束损失:
3. KL散度损失