【IVIF】SOSMaskFuse: An Infrared and Visible Image Fusion Architecture Based on Salient Object Segment

本文思想是使用显著物体分割（SOS）网络，获取感兴趣区域的相应二值化掩模，使用掩模将红外和可见光图像分解为红外前景、可见光前景、红外背景和可见光背景，然后分别融合。
显著物体检测（SOD）的目标是分割图像中具有视觉显著性的区域。引用SOD任务中的一个网络来实现显著性Mask的提取，有些人的做法使用传统的显著性提取算法得到类似的Mask。
本文创新点应该就是整体的一个框架吧，把用于解决SOD任务的HR-Net和RFN-Nest结合起来，没什么大的创新，实验做的比较丰富。

本文的消融实验部分一些分析以及相应表述很好，可以作为未来的解决方向。

IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2023
代码公开

1、动机，问题分析

现有方法的问题：首先，背景纹理清晰时，红外图像中的热信息很容易被遗漏，导致融合图像中红外信息难以突出。其次，红外突出的热信息会带来较多的红外图像背景噪声，导致融合图像背景不清晰，影响可见光图像纹理细节的显示。

设计了一种新的显著目标分割网络，从红外图像中获得感兴趣区域的二值化掩模。基于得到的掩模，提出了一种新的策略IMV-F ，将每张图像(红外或可见光)分解为前景和背景，然后将前景和背景部分分别融合为融合的前景和融合的背景

2、网络

引用的HRNet

本文框架：
使用HRNet得到IR的显著性Mask

融合策略

使用Mask得到IR和VIS的前景背景：

二者显著目标直接相加：

可见光的背景额外输入到后续的模块

二者背景使用通道和空间注意力机制得到融合的背景图

把融合的背景图和可见光的背景图再一次使用L1norm和softmax加权，再与融合的显著目标（前景图）相加得到最终的融合结果

并行的通道和空间注意力，结果取平均值。

3、损失

为了得到显著性掩码用的损失：
binary cross entropy loss

这里训练掩码和后面的AE是分两阶段训练的
训练AE用的损失很简单

4、消融实验与典型主观图分析

作者的
把SCA替换成了超i参数控制的权重：

就是这里简单的使用个超参控制就可以，主观图结果还好一点（左上角的烟会保存下来），那为什么要使用复杂一点的SCA呢，客观指标会高一点，所以致力于解决这一问题！

红外图像中一些我们希望融合的有用信息在掩模中没有被标记。这使得有用的信息成为背景(如红色矩形)。当γ = 0时，即背景信息全部来自可见光图像，不包含红外图像

虽然表2的定量结果显示，γ = 0似乎比SCA模块有更好的结果，但红外背景中的一些有用信息(如图11中的红色矩形)完全缺失，红外图像的优势根本没有融合，与最初的融合目的相矛盾。随着γ值的增大，融合图像的背景包含了更多有用的红外图像信息，但同时也增加了红外图像的背景噪声。这与在背景中包含大量可见图像纹理信息的目的相矛盾。