红外与可见图像融合论文心得（三）--PIAFusion（一种基于光照感知的渐进式红外和可见光图像融合网络）

本文主要工作：

1.提出了一种基于光照引导的红外与可见光图像融合框架，该框架可以通过感知光照情况，全天候融合源图像的有意义信息。

2.将跨模态差分感知融合模块与中途融合策略（CMDAF模块）相结合，在不同阶段整合互补和共同信息。

3.在MFNet数据集的基础上构建了一个新的用于红外和可见光图像融合训练和评估的基准数据集，称为多光谱道路场景(MSRS)。可以在https://github.com/Linfeng-Tang/MSRS上找到。

网络结构 

光照感知的子网架构

 主要架构

K4S2表示卷积核大小为4,stride设置为2。

LReLU表示Leaky Relu激活函数。

GAP表示Global Average Pooling。

 FC表示Fully Connected Layer。 

光照感知的子网架构作用：考虑到光照不平衡对信息分布的影响，作者开发了一个光照感知子网络来估计可见光图像的光照。给定一幅可见光图像，光照感知过程定义为:

其中:表示光照感知子网络，和分别表示图像属于白天和夜晚的概率。值得一提的是， 和都是非负标量。由于白天大部分信息集中在可见光图像上，而红外图像在夜间包含更多有意义的信息，因此照明概率从侧面反映了源图像信息的丰富程度。因此，我们利用光照概率来计算通过光照分配机制表示源图像贡献的光照感知权重。为了简化计算，我们的照明分配机制使用了一个简单的归一化函数，定义如下:

特征提取部架构

首先使用特征编码器 从红外和可见光图像中提取深度特征，这些特征可以表示为:

我们分别将𝑖卷积层从红外图像和可见光图像中提取的特征定义为其所对应的 ;

文章提出了一种跨模态差分感知融合(CMDAF)模块来补偿差分信息。其中，可以用共同部分和互补部分分别表述为:

CMDAF模块可以精确定义为:

 其中⊕表示元素求和，⊙表示通道乘法，𝛿(⋅)和𝐺(⋅)分别表示sigmoid函数和Global Average Pooling

融合模块

此外，红外和可见光图像的共同特征和互补特征通过一种半融合的方式，即拼接，完全融合。中途融合策略表示为:

融合图像通过图像重构器从融合后的特征值中恢复出来 

损失函数 

渐进融合网络的损失函数

光照感知损失

将 光照感知的子网络求到的权重用来求损失函数

其中：

光照损失驱动渐进式融合网络根据光照条件动态保持源图像的亮度信息，但融合后的图像不能保持最优的亮度分布。为此，进一步引入辅助强度损失，表示为: 

此外，我们期望融合后的图像在保持最佳强度分布的同时，还能保留丰富的纹理细节。
通过大量的实验，我们发现融合图像的最优纹理可以表示为红外和可见光图像纹理的最大集合。因此，引入纹理损失来强制融合图像包含更多的纹理信息，定义如下:（求纹理损失，我看的几篇文章都是用的Sobel算子来计算梯度）

 

∇:表示测量图像纹理信息的梯度算子。本文利用Sobel算子来计算梯度。|⋅|指绝对操作。 

最终，融合损失为

光照感知子网络的损失函数 

在论文的方法中，融合性能在很大程度上依赖于光照感知子网络的精度。光照感知网络本质上是一个分类器，它计算图像属于白天和夜间的概率。因此，我们采用交叉熵损失对光照感知子网络的训练过程进行约束，因此，我们采用交叉熵损失对光照感知子网络的训练过程进行约束，其表示如下

 𝑧表示照明标签的输入图像,表示illumination-aware子网络的输出,𝜎指将softmax函数,可实现概率[0,1]。

实验与训练方案看论文吧！！！

论文出处PIAFusion: A progressive infrared and visible image fusion network based on illumination aware - ScienceDirect

学习心得：

1.利用可见光图片中的光照变化，分配损失函数的权重

2.利用CMDAF模块对需要融合的图进行互补特征的提取，利用互补特征对进行补偿差分信息。