【论文阅读】LENFusion: A Joint Low-Light Enhancement and Fusion Network for Nighttime Infrared and

LENFusion: A Joint Low-Light Enhancement and Fusion Network for Nighttime Infrared and Visible Image Fusion（2024TIM）

现有方法存在问题：

1.夜间图像融合受到能见度有限的限制，容易受到光谱污染。当图像场景曝光不均匀或整体照度较低时，融合结果很容易出现类似于图1（c）的结果。红外信息减弱，红框内的可见信息在黑暗中被遮挡。因此，需要增强夜间图像融合的可视性，以便在昏暗环境下进一步提取场景信息，使融合结果包含更多信息。常见的融合方法依赖于低光增强预处理来提取更多可见特征。然而，这种方法很难专门针对融合提供增强功能。如图1（d）所示，在清晰度、对比度和细节方面还有改进的空间。

我们提出了一个框架 LENFusion，用于循环反馈联合增强和融合。融合图像通过反馈引导可见增强，促进相互增强和融合。

2.现有的夜间图像融合方法通常使用像素强度约束，导致纹理模糊。在图 1(e) 中，DIVFusion [7]（一种夜间融合方法）使用照明解缠结网络消除了照明退化并增强了特征。然而，DIVFusion通过强度损失获得了更多的红外信息，但弱纹理的红外特征在承载细节的同时掩盖了亮度较低的可见特征。它是融合和增强任务产生的局部干扰。

我们在再增强和融合网络（RFN）中使用双注意力融合策略，从通道和空间注意力中过滤掉不必要的信息和二次增强。

3.颜色分量通常受到距离限制，由于夜间颜色信息有限，这使得最佳解决方案具有挑战性。早期的图像融合主要集中于灰度图像。颜色失真仍然是现代图像融合中一个值得研究的问题，特别是对于自动驾驶道路检测中的交通标志颜色等关键信息。现有的融合方法将可见图像分解到YCbCr域并在Y通道中融合，将原始颜色分量分配给融合结果。在处理缺乏足够颜色信息的暗可见图像时，这些融合方法的缺点很明显。在图1（e）中，像素强度增强，但局部区域呈现灰色。

受平衡概念的启发，我们提出了 RGB 通道的无参考颜色损失，以克服暗可见图像的限制。

本文贡献

1）我们通过反馈循环框架实现图像融合和弱光增强之间的双向引导，以利用全面的信息增强夜间融合结果。

2）为了克服增强和融合带来的局部干扰，我们在RFN中集成了特征增强、滤波和融合。它将增强和融合结合起来以提高融合性能。

3）我们提出了一种新颖的无参考颜色损失来克服从暗可见原始图像中保留颜色分量的瓶颈。

4）与现有的最先进（SOTA）融合方法相比，我们融合了夜间红外和可见光图像，以实现全面、高质量的场景表示。

研究方法

整体框架

Ivis 和 Iir 是暗可见光和红外图像。 I en vis 是初始增强后的可见图像。随后，我们在融合过程中实现重新增强和融合，得到融合图像I f 。如图2所示，整个过程可以分为三个阶段。

首先，亮度调整网络 (LAN) 从 RGB 通道自适应