图像融合GANMcC学习笔记

GANMcC: A Generative Adversarial Network with Multi-classification Constraints for Infrared and Visible Image Fusion文章学习笔记

模型结构

生成器的结构分为梯度路径与对比度路径

梯度信息表示的是纹理信息
对于梯度路径，连接两个可见光+一个红外图像作为输入

对比度信息用亮度表示
对于对比度路径，连接一个可见光+两个红外图像作为输入

指示输入图像是可见光图像的概率Pvis和输入是红外图像的概率Pir。鉴别器确定融合图像时，生成器希望两个概率都大，也就是说，让鉴别器考虑融合图像既是可见光图像又是红外图像。相反，判决器专用于精确地确定融合图像为伪数据，即使两个概率同时变小。这样，在生成器和鉴别器之间就建立了一个对抗性的博弈。当判决器计算融合后图像的Pvis和Pir都很大时，认为此时为信息平衡的融合图像。

生成器损失函数

生成器损失函数L-G。

其中r为平衡对抗损失和内容损失的平衡系数

对抗损失

对抗损失 L-Gadv定义如下

其中d是确定融合图像的鉴别器的概率标号。在我们的工作中，鉴别器是一个输出1 × 2概率向量的多分类器。

因此，D( )[1]表示向量的第一项，即融合图像为可见图像的概率Pvis。
同样，D( )[2]表示向量的第二项，即融合图像为红外图像的概率Pir。

值得注意的是，我们对两种概率使用相同的标记d，因此鉴别器具有相同的概率来确定融合图像是红外图像还是可见光图像。这里，因为生成器预期鉴别器不能区分融合图像和真实数据，所以d被设置为1。

内容损失

内容损失 由四部分组成，即主强度损失、主梯度损失、辅助梯度损失和辅助强度损失。L_con定义如下

其中β()为常数，需要进行调整，以实现这些项目之间的主次关系。梯度损失项通常小于强度损失项，因此需要调整β()以使它们在优化过程中同等重要。因此，β()的设置规则可以概括为:

其中主要强度损失 L_int-main定义如下

其中Ifused是融合图像，可以形式化为G(Ivis，Iir)，Iir是红外源图像。

主要梯度损失 L_grad-main定义如下:

因为红外图像也有一些纹理细节，可见光图像也包含对比度信息。

因此，我们提出了辅助损失的概念。也就是说，我们构造融合图像和红外图像之间的辅助梯度损失 * Lgradaux*，以及融合图像和可见光图像之间的辅助强度损失 Lintaux，如下:

判别器损失函数

鉴别器是一个多分类器，其损失函数必须不断提高其鉴别能力，并能有效地识别什么是红外图像或可见光图像。

鉴别器的损失函数由三部分组成，即可见光图像、红外图像和融合图像的判决损失。我们将这三种损耗表示为LDvis、LDir和LDfused。那就是:

考虑到鉴频器输出的1 × 2矢量，我们得到Pvis = D(x)[1]和Pir = D(x)[2]。当输入是可见光图像时，预期pvi应该接近1，Pir应该接近0。相应的损失定义为:

其中a1和a2为概率标签，a1设为1，a2设为0。也就是说，当输入可见光图像时，鉴别器想要判断是可见光图像的概率大，红外图像的概率小。

类似地，红外损耗项定义为:

其中b1设置为0，b2设置为1。

最后，当输入图像是融合图像时，损失函数公式化为:

其中c是鉴别器确定融合图像的概率标签，应设置为0。

同样，我们也对两种概率使用相同的标签c来达到平衡。

也就是说，在鉴别者看来，融合后的图像在相同程度上是伪可见光图像和伪红外图像。

改进的点

在某些场景中它受阴影的影响很大，这导致融合结果的阴影过渡不自然。