基于卷积自编码器的多光谱遥感图像融合

这是一篇外国关于遥感图像融合的论文。

更新 于2019年11月21日

整个处理流程如下图所示：

遥感图像融合方法可以分为：分量替换、多分辨率分析、基于模型的方法。

此文所讲的方法可以视为混和方法，既用到了分量替换，又用到了模型。其中模型是用来估计低分辨率图像对应的高分辨率图像，分量替换是，估计出来的高分辨率图像细节用   原始图像的细节  进行加强。

---------------------过程分步分析：

第一步：模型学习

这一部分作者是通过学习  全色图像（清晰图像）和  采样后全色图像（非清晰图像） 的一个对应关系，找到对应关系后，用这种关系来预测 低分辨率图像（非清晰图像） 对应的   高分辨率图像（清晰图像）。下图是卷积自编码学习过程。

在图像右侧，是高分辨率图像（清晰度可以精确到0.2m到2米之间，适不同卫星不同精确）

在图像左侧，是高分辨率对应的低分辨率图像，这个低分辨率图像来源于高分辨率图像，具体做法是：先进行图像缩减，再进行图像的上采样。

经过如下的步骤，就可以获取到高分辨率图像和低分辨率图像对应的关系。（想了解卷积自编码的细节，可以去看论文详情）

第二步：图像的预测

如图所示，经过CAE网络学习获取到高分辨率和低分辨率对应的关系之后，输入多光谱图像的四个波段（红、绿、蓝、近红外）的信息。输出则是预测高分辨率多光谱图。

第三步：获取原图细节信息

如图，是获取原始图像细节图的过程。

这个过程中：首先通过下面LRMS bands 获取不同波段的权重。LRMS：低分辨率多光谱图。在经典的IHS变换当中，获取的I分量的公式是：I = (R+B+G)/3  来获取I分量（此时权重是1/3）。而此论文中是获取一个 最优 的权重。而非 1/3。

然后通过  全色图像（P）减去  不同波段与权重的乘积 来获取细节图。 

第四步：图像细节注入

如图，为图像细节注入的过程。

上面的图像为第二步估计的高分辨率多光谱图，下面是第三步的获取细节的过程。

第四步为进行细节增益（细节注入），如下公式为核心公式：

公式解释：带H指的是高分辨率图像，i指的是某个波段（红绿蓝近红外）。g为细节增益，第三步有公式。

通过不同波段不同的细节增益（不同波段细节不共享），来获取最好的多光谱遥感图像的估计。