FusionGAN论文理解

一、摘要

本文提出了一种使用生成对抗网络融合可见光和红外图像这两种类型信息的新方法，称为FusionGAN。主要方法是通过生成器与判别器之间的对抗，将V和I图像融合，其中生成器旨在生成具有主要红外强度以及附加可见梯度的融合图像，而判别器目的是使融合图像具有更多的可见光图像的细节。

二、相关工作

过去方法的问题/不足：

主要的融合框架包括图像变换、活动水平测量、融合规则设计三个关键部分

现有的方法通常在融合过程中对不同的源图像使用相同的变换或表示。但是对于红外图像和可见光图像可能不合适，因为红外图像中的热辐射和可见光图像中的出现是两种不同现象的表现。此外，现有方法中的活动水平测量和融合规则大多采用人工设计，且越来越复杂，存在执行难度和计算代价的限制

本文方法的好处，使得最终的融合图像能够同时保持红外图像中的热辐射和可见光图像中的纹理。此外，本文的FusionGAN是一个端到端模型，避免了传统方法中手动设计复杂的活动水平测量和融合规则。

本文的4个贡献

1、这是第一次采用GAN来解决图像融合任务、提出了一个生成对抗架构，并设计了一个专门用于红外和可见光图像融合的损失函数。讨论了GANs用于图像融合的可行性和优越性。

2、提出的FusionGAN是一个端到端模型，其中融合图像可以从输入源图像自动生成，而无需手动设计活动水平测量或融合规则。

3、与以前的方法相比，提出的FusionGAN可以获得看起来像锐化红外图像的结果，具有清晰的突出目标和丰富的纹理。

4、将提出的FusionGAN推广到融合不同分辨率的源图像，如低分辨率红外图像和高分辨率可见光图像。该方法可以生成高分辨率的合成图像，且不受上采样带来的噪声的影响。

三、模型与方法

如图2（a）所示。首先，在通道维度上连接红外图像和可见光图像。然后，将连接的图像馈送到生成器中，生成器生成的便是融合图像。趋于保持红外图像的热辐射信息，并保持可见光图像I的梯度信息。然后再将融合图像和可见光图像送入判别器。所提出的FusionGAN在生成器I f和生成器I v之间建立了一个对抗性的博弈，I f将逐渐包含可见图像I v中越来越多的细节信。一旦判别器无法区分生成器生成的图像就停止。测试部分入图2（b)所示，将接的红外图像和可见光图像送入生成器就可以得到融合图像。

LOSSfunction

生成器损失函数

等式左边代表总损失

这个式子是为了衡量融合图像和红外图像以及可见光图像之间的差异。

判别器损失函数

该方法使训练过程更加平稳，鉴别器的损耗函数收敛速度更快

生成器网络架构：

简单的5层卷积神经网络

前两层是5 * 5的核，三和四层是3 * 3的核输入是一个没有噪声的拼接图像，最后一层是1*1的核。

对于红外和可见光图像的融合，每一次下采样过程都会在源图像中遗漏一些细节信息。因此，我们只引入卷积层而不引入下采样。这也可以保持输入和输出的大小相同，因此，反卷积层在我们的网络中是不必要的。

此外，为了避免梯度消失的问题，我们遵循深度卷积GAN规则进行批量归一化和激活函数。

为了克服模型对数据初始化的敏感性，我们在前四层采用了批量归一化，使得模型更加稳定，并且可以有效地将梯度反向传播到每一层。

在激活函数方面，前四层采用漏式ReLU激活函数，最后一层采用tanh激活函数。

判别器网络架构：

• 简单的五层卷积神经网络。
• 为了不引入噪声，只在第一层进行padding。其余三层卷积层不padding。
• 2-4层，用批量标准化层（BN）
• 1-4层，用leaky RELU。
  最后一层（第5层)线性层，用于分类。