【论文阅读2】DenseFuse: A Fusion Approach to Infrared and Visible Images

目录

DenseFuse: A Fusion Approach to Infrared and Visible Images 红外与可见光图像融合方法

介绍

回顾相关工作

DenseFuse

损失函数

融合层

参考文献

DenseFuse: A Fusion Approach to Infrared and Visible Images 红外与可见光图像融合方法

在学习本论文前，可以先看一下DeepFuse文章~

该方法虽然取得了较好的性能，但是仍然存在两个主要缺点：（1）网络结构过于简单，显著特征提取不准确；（2）这些方法只利用网络最后一层计算的结果进行编码，中间层得到的有用的信息会丢失，随着网络深度的增加，这种现象会变得更加严重。

介绍

本文提出了一种用于红外和可见光图像融合问题的新型深度学习架构。该架构由编码网络和解码网络构成，利用编码网络提取图像特征，通过解码网络得到融合图像。编码网络由卷积层和密集块构成，其中每层的输出用作下一层的输入。

在此之前的许多基于CNN的融合方法中，只有最后一层的结果被用作图形特征，这种操作会丢失很多有用的信息。

回顾相关工作

随着网络深度的增加，为解决退化问题，He引入了深度残差学习框架；为了进一步改善层之间的信息流，Huang等人提出了一种具有密集块的新架构。

密集块有三个优点：（1）这种架构可以保留尽可能多的信息；（2）这种模型可以改善网络中的信息流和梯度，这使得网络易于训练；（3）密集连接具有正则化效果，这就减少了任务上的过拟合。

DenseFuse

如上图所示：编码器包含两个部分（C1和DenseBlock），用于提升深度特征。第一层（C1）包含3*3滤波器以提取粗糙特征，密集块（DenseBlock）包含三个卷积层（每层的输出级联为下一层的输入），其中也包含3*3的滤波器。编码器的结构由两个优点：（1）卷积运算的滤波器大小和步长分别是3*3和1，使用此策略，输入图像可以是任何大小；（2）密集块结构可以在编码网络中尽可能多的保留深度特征，并且这种操作可以确保所有显著特征都用于融合策略。

解码器包含四个卷积层（3*3滤波器），融合层的输出将作为解码器的输入。

损失函数

在训练阶段，只考虑编码器和解码器网络，融合层被丢弃。在编码器和解码器权值固定后，采用自适应融合策略对编码器获取的深度特征进行融合。

1、

最小化损失函数L来训练编码器和解码器，其中像素损失为Lp，结构相似性损失为Lssim，权重为

2、

像素损失，表示输出与输入之间的欧几里得距离，其中O和I分别表示输出和输入图像。

3、

结构相似性损失。

融合层

1、加法策略：

其中，（x,y）表示特征图和融合特征图中的对应位置，然后将调频信号作为解码器的输入，解码器重构出最终的融合图像。

2、L1-范数策略：

这篇看得不咋仔细~ 大致了解了方法，后面再来回顾回顾吧~

参考文献

DenseFuse: A Fusion Approach to Infrared and Visible Images