DenseFuse: A Fusion Approach to Infrared and Visible Images-CSDN博客

本文链接：https://blog.csdn.net/paopaovae/article/details/88123116

Abstract

在这篇文章中，我们提出一个新的深度学习网络结构来解决红外光和可见光之间的融合问题。与其它卷积神经网络相比，我们的编码网络由卷积层，融合层和密集块组合而成，其中每层的输出连接到每个其他层。我们尝试使用这种架构来获得更多编码过程中源图像的有用特征。并且设计了两种融合层（融合策略）来融合这些特征。最后，融合图像由解码器重建。与现有的融合方法相比，所提出的融合方法在客观和主观评估中均表现最好。

一 INTRODUCTION

可见光和红外光图像融合在图像处理领域是一个重要的问题，它试图从源图像中提取显著特征，然后通过适当的融合方法将这些特征融合到单个图像中[1]。几十年来，这些融合方法取得了极大的成果，融合性能并广泛用于许多应用，如视频监控和军事应用。

众所周知，许多信号处理方法已应用于图像融合任务，以提取图像显著特征，如基于多尺度分解的方法[2]-[7]。首先，通过图像分解方法提取显著特征。然后，利用适当的融合策略来获得最终的融合图像。

近年来，基于表征学习的方法也引起了极大的关注。在稀疏域中，提出了许多融合方法，如稀疏表示（SR）和方向梯度直方图（HOG）融合方法[8]，联合稀疏表示（JSR）[9]和共稀疏表示[10]。在低等级领域，李等人[11]提出了一种基于低秩表示（LRR）的融合方法。他们使用LRR而不是SR来提取特征，然后使用l1范数和最大选择策略来重建融合图像。

随着深度学习的兴起，提出了许多基于深度学习的融合方法。卷积神经网络（CNN）用于获取图像特征并重建融合图像[12]，[13]。在这些基于CNN的融合方法中，只有最后一层的结果被用作图像特征，并且该操作将丢失由中间层获得的许多有用信息。我们认为这些对于融合方法是重要的。

为了解决这个问题，在本文中，我们提出了一种新的深度学习架构，它是通过编码网络和解码网络构建的。我们使用编码网络来提取图像特征，并且通过解码网络获得融合图像。编码网络由卷积层和密集块构成[14]，其中每层的输出用作下一层的输入。因此，在我们的深度学习架构中，编码网络中每层的结果被用于构建特征映射。最后，融合策略和解码网络将重建融合图像，该网络包括四个CNN层。

二 RELATED WORKS

在过去两年中已经提出了许多融合算法，特别是基于深度学习。与基于多尺度分解的方法和基于表示学习的方法不同，基于深度学习的算法使用大量图像来训练网络，并且这些网络用于获得显著特征。

2016年刘羽等人[12]提出了一种基于卷积稀疏表示（CSR）的融合方法。 CSR与基于CNN的方法不同，但该算法仍然是基于深度学习的算法，因为它也提取了深层特征。在这种方法中，作者使用源图像来学习几个具有不同尺度的字典，并使用CSR来提取多层特征，然后通过这些特征生成融合图像。2017年刘羽等人[13]还提出了一种基于CNN的融合方法，用于多聚焦图像融合任务。包含输入图像的不同模糊版本的图像块用于训练网络并使用它来获得决策图。然后，通过使用决策图和源图像获得融合图像。但是，这种方法仅适用于多焦点图像融合。

在ICCV 2017中，Prabhakar等人[15]进行了基于CNN的多重曝光融合问题的方法。他们提出了一种简单的基于CNN的架构，其在编码网络中包含两个CNN层，在解码网络中包含三个CNN层。编码网络具有连接网络架构并且权重是相同的。两个输入图像由该网络编码。然后，获得两个特征映射序列，并通过加法策略融合它们。最终融合图像由三个CNN层重建，称为解码网络。虽然这种方法可以获得更好的性能，但它仍然存在两个主要缺点：1）网络架构过于简单，并且可能无法正确提取显著特征; 2）这些方法只使用编码网络中最后一层计算的结果，中间层获得的有用信息将丢失，当网络更深时，这种现象会变得更糟。

为了克服这些缺点，我们提出了一种基于CNN层和密集块的新型深度学习架构。在我们的网络中，我们使用红外和可见图像对作为我们方法的输入。在密集块中，由编码网络中的每个层获得的它们的特征映射被级联作为下一层的输入。

在传统的基于CNN的网络中，随着网络深度的增加，出现了退化问题[15]，并且未充分利用中间层提取的信息。为了解决退化问题，He等人[16] 介绍了深度剩余学习框架。为进一步改善层间信息流，Huang等[14]提出了一种具有密集块的新颖架构，其中使用了从任何层到所有后续层的直接连接。密集块体系结构有三个优点：1）该体系结构可以保存尽可能多的信息; 2）该模型可以通过网络改善信息和梯度的流动，使网络易于训练; 3）密集连接具有正则化效果，减少了对任务的过度拟合。

基于这些观察，我们在我们的编码网络中加入了密集块，这是我们提出的名称的起源：Densefuse。通过此操作，我们的网络可以保留来自中间层的更多有用信息并且易于训练。我们将在第III节中详细介绍我们的融合算法。