STFDCNN（基于深度卷积神经网络的时空卫星图像融合）

遥感图像时空融合

DCSTFN：https://editor.csdn.net/md/?articleId=117733388

---

STFDCNN主要思路： 首先，利用神经网络(NLMCNN)学习重采样LTHS与低空间分辨率LTHS之间的非线性映射，然后在低空间分辨率LTHS与原始LTHS之间建立第二超分辨率CNN (SRCNN)。（为了获得最好的结果，预测日期的第一个CNN的输出不直接输入到SRCNN模型中，而是使用高通调制进行调整）

---

优势

1)自动提取有效的图像特征;
2)学习MODIS和LSR Landsat影像的端到端映射;
3)产生更有利的融合结果。

比较实验：与基于稀疏表示的时空融合模型进行了比较

---

一、介绍

以前基于稀疏表示的局限性：
1、图像特征需要手工设计，给算法带来了复杂性，性能不稳定
2、算法实现过程中，特征提取，字典学习，稀疏表示，图像重建步骤是分开进行的
3、算法是针对小尺度研究区域开发和验证的，没有考虑到现实中大量的遥感数据

---

CNN的成功可以归结为三个方面： 1）CNN的深度结构对大尺度图像的特征捕获更有效; 2)提出快速高效的训练方法，如修正线性单元(ReLU)[23]、批量归一化[24]、残差学习[25]等; 3)通过在功能强大的gpu上进行并行运算，显著提高了训练速度。

二、模型

1.构造

具体来说，该模型包括三个步骤:NLM、SR和图像融合（其中前两个步骤是通过一个五层CNN实现的），网络从数据本身自动学习图像特征，并通过反向传播共同优化特征提取、NLM和图像重建的步骤。

2.方法

流程图：

可以看出：
该方法分为训练阶段和预测阶段。
由于训练和预测以相同的方式分别在所有波段上实施。

训练阶段：首先学习MODIS（500m）和低空间分辨率（LSR）Landsat（250）图像之间的NLM模型，然后学习（LSR）Landsat和原始Landsat图像之间的SR模型。

预测阶段：（采用高通调制和加权相结合的融合模型）
将之前和预测日期的MODIS图像输入到学习的NLM CNN中，得到过渡的LSR Landsat图像，然后将过渡的LSR Landsat图像输入到融合模型中，得到预测日期的LSR Landsat图像;最后一步的融合结果与之前的模拟LSR Landsat图像一起输入到学习的SR CNN中，得到过渡的Landsat图像，然后将过渡的Landsat图像输入到融合模型中，得到预测日期的最终融合结果。

预测阶段

1、NLM CNN：

首先对Landsat进行下采样操作，让其分辨率与MODIS的分辨率相似。为了缩小下一步SR的分辨率差距，将Landsat的空间分辨率下降了10倍，将MODIS和LSR Landsat图像的训练样本分别表示为$X$和$Y^l$，我们期望学习一个NLM函数$F^M(.)$,使$F^M(X)$近似于$Y^l$。考虑到$X$和$Y^l$有很大的相似性，我们从$X$和$Y^l$学到一个残差图像，这样就可以重点学习$Y^l$的高频细节信息。残差图像定义为$R=Y^l-X$。因此，我们期望学习一个映射函数$F^M(.)$，让$F^M(X)$相似于$R$。在预测残差图像之后，通过输入MODIS图像和残差图像之和得到地表真实的LSR Landsat图像。NLM CNN的结构由五层组成,输入层,三卷积隐藏层和输出层,在三个隐藏层对应于三个操作:特征提取;NLM;和重建。

为了提取输入的MODIS图像的特征，我们使用$n1$个$k_1\ast k_1$的卷积核,在保证精度的前提下为了加快网络的收敛速度，在卷积核响应的非线性中采用RELU激活函数。然后，从第一个隐层得到$n1$个MODIS特征图，这一步可以表示为以下公式：
$F_1^M(X)=max(0,W_1\ast X+b_1)$ (1)
其中，$W_1\in R^{k_1\ast k_1\ast n1}$表示卷积核的权重，$b$