DSIFN

最新推荐文章于 2024-07-25 16:58:58 发布

@overtak@

最新推荐文章于 2024-07-25 16:58:58 发布

阅读量996

点赞数 26

文章标签：深度学习计算机视觉

本文链接：https://blog.csdn.net/weixin_46473115/article/details/135249366

版权

数据集

高分辨率图像所传达的精细图像细节和复杂纹理特征。

网络架构

1.先通过全卷积双流架构提取双时间图像的高度代表性的深度特征。然后，将提取的深度特征输入深度监督差分判别网络（DDN）进行变化检测。在差分判别网络中利用注意模块对原始图像深度特征和图像差分特征进行有效融合，帮助变化图重构。

2.为了提高输出变化图中对象的边界完整性和内部紧凑性，通过用于变化图重建的注意力模块，将原始图像的多层次深度特征与图像差异特征融合。通过直接将变化映射损失引入网络中的中间层，进一步增强了DDN.

3.为了克服特征融合的异质性问题，将注意力模块应用于组合特征上，以自适应地强调重要特征，同时抑制跨通道和空间维度的不相关特征。

传统的方法

1.将两个时域的图片的像素值进行比较，以生成图像差异图，在该映射上应用阈值将像素分类为改变的类或不变的类。

2.在基于像素的方法中，首先应用深度学习将原始图像转换为高级特征空间。然后，通过深度特征选择和逐像素比较生成差异图。最后，将基于阈值的方法、基于聚类的方法和变化向量分析应用于差分图来区分变化的像素。

3.基于对象的变化检测方法遵循“图像分割-对象特征提取-特征差异分析-聚类或阈值分类”过程。

4.根据处理双时间图像的方式，这些方法可以分为两类：早期融合方法和后期融合方法。在早期的融合方法中，在不同时间拍摄的图像被堆叠为一个输入图像。将具有三个通道的两个双时街景图像连接为具有六个通道的一个图像。晚期融合方法将每个双时间图像作为一个输入。首先，通过网络中两个独立的管道分别提取双时图像的特征。然后，在下面的网络层中进一步组合和比较提取的特征，以生成变化图。连体网络由两个具有相同层设置和参数值的子网络组成，每个子网络接收一个图像作为输入。

图像融合网络IFN

输入：双时间图像

流程：

1.将具有共享结构和参数的深度特征提取网络(DFEN)应用于两个流进行原始图像特征提取

2.两个流收敛到一个变化检测流，它利用差分判别网络（DDN）来生成变化图。

论文的图

在这里插入图片描述

DS_1、DS_2、DS_3 和 DS_4 是嵌入在 DDN 中的四个深度监督模块。

Conv5_3 作为 DDN 的初始输入，以产生具有紧凑大小的初步全局变化图。DFEN的早期层(即Conv4_3、Conv_3_3_3、Conv_2_2_2_2_2和Conv_1_2)，它们包含双时态图像的较低级别局部结构信息，被跳过连接到具有相同尺度的DDN层，以补充单个双时态图像特征。

VGG16 的 pool5 之前的层作为 DFEN 的主干。

在这里插入图片描述

流程：1.在组合深度图像特征(即T1_Conv5_3和T_2_Conv5_3)上依次应用三个卷积层，生成大小紧凑的初始全局图像差分特征图。然后应用空间注意模块提取空间注意图(即SAM_1)，用于空间维度上的特征映射细化。为了将分辨率恢复到原始图像的分辨率，将细化的图像差异特征图（即 IDF_1）上采样到放大的特征图 Up_IDF_1。2.我们将单个原始图像的较低层次特征(即T1_Conv4_3和T2_Conv4_3)与上采样的图像差异特征Up_IDF_1通过CAM模块(CAM是通道注意力模块)连接起来，以恢复变化对象的细粒度细节和更好的掩，然后依次应用三个卷积层，生成大小紧凑的全局图像差分特征图。

目的：不同层的特征包含从原始图像中提取的不同级别的信息。深层特征包含更多的全局信息，但局部信息较少，而早期层特征包含更丰富的局部对象细节，但全局信息较差。由于跳过连接将高级特征与低级特征连接起来，以获得更好的分割网络分割结果。

IDF_i表示通过注意力模块计算的细化图像的差异特征。

在这里插入图片描述
通道注意模块（CAM）：首先，通过通道注意图对组合特征进行通道细化。通道注意模块专注于“哪个通道”从组合的异构特征中学习。

在这里插入图片描述

F是输入特征图。假设F是C x H x W，分别经过最大平均池化和最大池化压缩为C x 1 x 1的两个向量。这两个向量经过共享参数的多层感知机处理后逐元素相加，合并为1个向量C x 1 x 1。这个向量再通过sigmoid函数转化为每个通道的注意力权重。

在这里插入图片描述

空间注意力模块（SAM）：特征图中每个像素位置的重要性被编码在空间注意力图中。空间注意力模块被训练以获得自适应地重新校准每个像素位置的权重的能力，并最终输出空间注意力图，其中改变的和未改变的像素的位置分别被分配有更高和更低的重要性。

在这里插入图片描述

F是输入特征图。假设F是C x H x W，分别经过最大平均池化和最大池化压缩为两个1 x H x W的矩阵，然后逐个元素相加变成1个 1 x H x W 的矩阵。然后经过sigmoid的函数，转化为每个像素的注意力权重。

在这里插入图片描述

这两个公式得到的结果是通过通道和空间注意力模块得到的细化特征图。

在这里插入图片描述

这个图的过程就可以通过下面一个公式概括。

在这里插入图片描述

小结：通道注意模块专注于从组合的异构特征中学习“哪个通道”。空间注意模块侧重于从组合特征图中学习“哪个区域”。一方面，通道注意图分别从原始图像特征集和图像差分特征集中选择重要特征并丢弃不必要的特征。因此，可以减轻两个集合中的冗余。另一方面，通道注意图明确地决定了每个选定特征的重要性，并从混合异构特征中输出信息特征组合。

遇到的问题

变化图边界的完整性和内部的致密性不好
在双分支网络结构中，容易出现梯度消失

答：本文没有使用从差异判别层到特征提取层进行反向传播的集成网络，而是将整个变化检测任务分为两个阶段，以缩短误差传播距离。为了缓解梯度消失问题并提高差异判别网络的性能，我们引入了深度监督来有效地训练差分判别网络中的中间层。中间层不是仅仅依赖于输出层逐渐反向传播的梯度，而是通过各种空间分辨率的变化图来监督。通过接收来自变化图的直接反馈，中间层产生对变化区域区分具有较高区分性的特征。