【IVIF】Frequency Integration and Spatial Compensation Network for infrared and visible image fusion

现有方法主要关注空间信息，忽视了宝贵的频率信息，我们提出了一种新颖的方法，同时深入探讨两个领域，以应对红外和可见光图像融合任务。具体地，我们首先通过傅立叶变换分析两种模态图像的频率特性，并观察到，通过直接合并它们的相位分量，可以有效地获得具有源图像互补属性的融合结果。为此，我们提出了一个频率集成和空间补偿网络（FISCNet），由两个核心设计组成：频率集成组件和空间补偿组件。前者在频率域中整合了源图像的显着对象，同时保持了可见图像的视觉感知，后者通过空间域中细致的补偿机制改善了详细纹理，并突出了显著对象。

这些方法主要集中在学习空间域中的红外和可见光图像融合，忽视了频率域中的未开发潜力。在本文中，我们通过探索离散傅立叶变换的相位和幅度分量的属性，对红外和可见光图像进行了全面的频率分析，并深入研究了它们的相位分量的整合。具体而言，我们首先通过快速傅立叶变换将空间域图像转换为频率域幅度和相位谱。借鉴先前研究的见解，他们提出相位分量在传达重要内容信息方面起着关键作用。此外，遵循突出两个源图像中显着对象并保留来自可见光图像的感知质量的IVIF核心原则，我们直接整合了两个源图像的相位分量。最后，与来自可见光和红外图像的幅度分量结合的综合相位谱经过逆快速傅里叶变换，分别产生可见光融合和红外融合图像。正如图1所示，我们可以观察到：（1）可见光融合和红外融合图像都突出了红外图像中存在的显着对象，这在可见光图像中不可辨认；（2）值得注意的是，可见光融合图像展现了来自可见光图像的详细纹理和颜色特性，与IVIF任务的原则紧密一致。因此，在频率域中实现红外和可见光图像融合是可行的。基于上述观察，我们尝试通过结合空间和频率域来解决红外和可见光图像融合任务，并提出了一个频率集成和空间补偿网络（FISCNet）。为了突出源图像中的显着对象，同时保留来自可见光图像的详细纹理和视觉质量，我们精心设计了两个核心设计：频率集成（FI）模块和空间补偿（SC）模块。具体而言，FI模块通过整合源图像的相位分量将红外图像中的显着对象合并到融合图像中。它还通过将整合的相位分量与可见光图像的幅度谱结合来保持感知质量。为了进一步改善详细纹理并突出显着对象，SC模块在空间域中制定了一种补偿机制，考虑到融合图像与可见光和红外图像之间的差异。

作者的分析：

网络结构：

空间域的信息整合：

这里作差可以借鉴一下。