SSR-NET：用于高光谱和多光谱图像融合的空间-光谱重建网络

标题：SSR-NET: Spatial–Spectral Reconstruction Network
             for Hyperspectral and Multispectral Image Fusion

        

具体方法： 本文所提出的SSR-NET是一个物理上直接的CNN模型，主要有三个模块组成：

                （1）CMMI     （跨模式消息插入）

                （2）具有空间边缘损失的SpatRN

                （3）具有频谱边缘损耗的SpecRN.

                参数表示：   R表示参考的HR-HSI,    Z 表示估计的HR-HSI

                                     X表示LR-HSI                Y表示HR-MSI

              X和Y分别以空间模式和光谱模式进行采样，这些模式通过下列公式：

             

           其中，X先通过高斯滤波器进行模糊，然后通过双线性运算以与Z的比率r进行空间下采样。

           Y是以相等的频带间隔从Z采样的。

           Y（k）表示Y的第k个频带。               {s1, . . . , sl} 表示HR-HSI中的采样频带数

        CMMI： CMMI的目标是生成一个初步的级联超多重光谱图像（HMSI），表示为   Zpre∈RH×W×L，它利用了HR-MSI的空间信息和LR-HSI的光谱信息，保留了它们的相对空间-光谱位置。

       通过利用双线性插值，X的LR-HSI将被上采样到与空间模式中Y的HR-MSI相同的大小，表示为

                             

        其中r是上采样率，X↑ 是上采样的LR-HSI

        然后，HR-MSI和上采样的LR-HSI将被预先融合，其公式为：

        

        其中Zpre表示HMSI，并且Zpre（k）是HMSI的第k频带。类似地，Y（k）和X（k）↑ 分别表示HR-MSI的第k个频带和上采样的LR-HSI。通过这种方式，级联的HMSI可以包含HR-MSI和LR-HSI的空间和频谱信息。

        为了初步传递空间和光谱模式之间的信息，在HMSI中应用了核大小设置为3×3、空间高度和宽度步长设置为1的卷积层。它表示为

                   

      其中ReLU是整流线性单元的非线性激活函数。

     SpatRN  具有空间边缘损耗的空间重构网络:

                为了从Zpre重建空间信息，另一个步长设置为1的3×3卷积层用作SpatRN，其公式为：

                              

                

              为了使SpatRN专注于空间信息的恢复，基于空间边缘，如图3所示，本文提出了一种新的空间边缘损失（Lspat）来约束SpatRN的输出

    SpecRN 具有谱边缘损耗的谱重构网络 :

          在空间重构之后，使用与SpatRN具有相同架构的另一个卷积层作为SpecRN来进一步重构基于Zsput的频谱信息。它被公式化为

                          

            与空间边缘类似，如图3所示，频带的频谱边缘包含对频谱重建至关重要的高频信息。为了使SpecRN重视频谱恢复，本文还提出了频谱边缘损耗（Lspec）来约束SpecRN的输出。