DCSTFN(使用深度卷积网络融合高时空遥感图像)

多源遥感图像时空融合(MODIS+Landsat)

从今年三月份确定方向,开始看此类的文章,也零零散散看了几篇,始终觉得不太系统,于是就想出一系列的学习笔记,督促自己坚持学习吧,侵权即删,谢谢。


时空融合:也就是把高空间分辨率低时间分辨率图像(LTHS)和高时间分辨率低空间分辨率图像(HTLS)融合成高空间分辨率高时间分辨率图像(HTHS)。在遥感领域的分支来说,发展还不是太好,我主要是利用深度学习来进行融合。


前言

这篇(DCSTFN)算是第一次利用卷积神经网络来提取图像特征的,这在时空融合领域算是一次较为重要的突破。


时空融合第一篇

一、DCSTFN主要组成部分

DCSTFN模型主要由三个部分组成:HTLS图像的扩展、LTHS图像的高频成分提取和提取特征的融合。DCSTFN模型在输入和输出之间建立了一个复杂但直接的非线性映射。实验用modis和landsat图像融合,表明基于CNN的方法不仅可以实现最先进的准确性,而且比传统的时空融合算法更鲁棒。
其中:卷积用于提取输入的关键特征,反卷积用于扩大HTLS图像的大小。

二、方法

1.CNN Model

一个经典的CNN由一个或多个卷积层、一个下采样层(或称为池化层)、最后一个或多个全连接层(或称为密集层)组成,以生成预测。CNN的前卷积层是用来提取低级特征的。通过增加卷积层的数量,可以自动提取更复杂的高级特征。池化层从上一层提取原始特征,减少训练参数,防止模型过拟合。

反卷积充当一个卷积算子变换应用于常规卷积的相反的方向。在数学上,卷积操作可以表示为矩阵乘法,反卷积是相反的空间变化,表示为与转置卷积核矩阵相乘。因此,反卷积实际上是指转置卷积或反向卷积。

2.DCSTFN架构

深度卷积融合网络架构:
在这里插入图片描述

这里输入的MODIS图像分辨率为480m,patch为10*10
Landsat图像分辨率为30m,patch为160*160

由于网络是对单个波段进行训练的,所以对来自不同波段的图像进行训练时,将产生不同的网络。

第一部分:共享网络(左上角)

Conv(d0,3) 这里的d0表示特征图的个数,3表示卷积窗口的大小。(特征图的个数是卷积的待定参数,一般经验将移动窗口设置为3*3),反卷积操作可以将MODIS图像扩展到Landsat图像的大小,反卷积操作Deconv(d2,3,2)的前两个参数和标准卷积相同,最后一个参数表示卷积窗口的步幅(设为2)。因此,模型的反卷积操作会把MODIS特征图扩大八倍

第二部分:提取高频分量(左下角)

对(LTHS):从两个卷积层开始,然后是一个最大池化层,它与另外两个卷积层连接。将卷积层应用于Landsat图像斑块,提取细节边缘和纹理等高空间频率信息。池化层用于过滤高频信息。输出规模从160×160×1缩小到80×80× d2

最后部分:对提取的抽象特征进行融合

合并所提取的特征࿱

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

为实现自我而奋斗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值