DCSTFN（使用深度卷积网络融合高时空遥感图像）

多源遥感图像时空融合（MODIS+Landsat）

从今年三月份确定方向，开始看此类的文章，也零零散散看了几篇，始终觉得不太系统，于是就想出一系列的学习笔记，督促自己坚持学习吧，侵权即删，谢谢。

---

时空融合：也就是把高空间分辨率低时间分辨率图像（LTHS）和高时间分辨率低空间分辨率图像（HTLS）融合成高空间分辨率高时间分辨率图像（HTHS）。在遥感领域的分支来说，发展还不是太好，我主要是利用深度学习来进行融合。

---

前言

这篇（DCSTFN）算是第一次利用卷积神经网络来提取图像特征的，这在时空融合领域算是一次较为重要的突破。

---

时空融合第一篇

一、DCSTFN主要组成部分

DCSTFN模型主要由三个部分组成:HTLS图像的扩展、LTHS图像的高频成分提取和提取特征的融合。DCSTFN模型在输入和输出之间建立了一个复杂但直接的非线性映射。实验用modis和landsat图像融合，表明基于CNN的方法不仅可以实现最先进的准确性，而且比传统的时空融合算法更鲁棒。
其中：卷积用于提取输入的关键特征，反卷积用于扩大HTLS图像的大小。

二、方法

1.CNN Model

一个经典的CNN由一个或多个卷积层、一个下采样层(或称为池化层)、最后一个或多个全连接层(或称为密集层)组成，以生成预测。CNN的前卷积层是用来提取低级特征的。通过增加卷积层的数量，可以自动提取更复杂的高级特征。池化层从上一层提取原始特征，减少训练参数，防止模型过拟合。

反卷积充当一个卷积算子变换应用于常规卷积的相反的方向。在数学上，卷积操作可以表示为矩阵乘法，反卷积是相反的空间变化，表示为与转置卷积核矩阵相乘。因此，反卷积实际上是指转置卷积或反向卷积。

2.DCSTFN架构

深度卷积融合网络架构：

这里输入的MODIS图像分辨率为480m，patch为10*10
Landsat图像分辨率为30m,patch为160*160

由于网络是对单个波段进行训练的，所以对来自不同波段的图像进行训练时，将产生不同的网络。

第一部分：共享网络（左上角）

Conv(d0，3) 这里的d0表示特征图的个数，3表示卷积窗口的大小。（特征图的个数是卷积的待定参数，一般经验将移动窗口设置为3*3），反卷积操作可以将MODIS图像扩展到Landsat图像的大小，反卷积操作Deconv(d2，3，2)的前两个参数和标准卷积相同，最后一个参数表示卷积窗口的步幅（设为2）。因此，模型的反卷积操作会把MODIS特征图扩大八倍

第二部分：提取高频分量（左下角）

对（LTHS）：从两个卷积层开始，然后是一个最大池化层，它与另外两个卷积层连接。将卷积层应用于Landsat图像斑块，提取细节边缘和纹理等高空间频率信息。池化层用于过滤高频信息。输出规模从160×160×1缩小到80×80× d2

最后部分：对提取的抽象特征进行融合

合并所提取的特征࿱