Fusion from Decomposition：自监督分解的图像融合方法

• Liang, Pengwei, et al. "Fusion from decomposition: A self-supervised decomposition approach for image fusion." European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022.
• Introduction

        场景感知是机器视觉的一个长期目标，其中场景由多个硬件传感器数字化。由于硬件限制，每个传感器一次只能从场景中捕获部分信息。 为了准确有效地表示场景，图像融合整合同一场景中多个源视图的互补特征，从而为下游高级任务或人类感知生成高质量的图像。

• for example

         Multi-exposure fusion (MEF) 利用多个低动态范围 (IDR) 图像来获得单个高动态范围 (HDR) 图像；

        Multi-focus fusion (MFF) 将具有不同聚焦区域的多幅图像组合成一个全聚焦图像。

• Problems--traditional methods

        图像融合方法的一个重要步骤是有效地表示源图像 some classical feature representation and decomposition methods: wavelet [1], pyramid [2], edge preserving filter [3], sparse coding and dictionary learning [4] 这些手动设计的特征表示方法不能很好地理解图像的语义知识，限制了这些模型的泛化性。

• Problems--deep learning methods

        Deep learning: adaptively learning image representations from large-scale dataset 研究人员简单地将网络视为一个优化器，用于对源图像与目标融合结果之间的关系进行建模 (fig. 1) Direct fusion via supervised learning 红外可见图像融合 (infrared-visible image fusion) 很难获得成对的源图像和 ground-truth 融合图像。

        另一种解决方案是放弃监督信息，仔细设计一些辅助损失,保持融合图像和源图像之间的一致性 或者利用定制的融合规则在一些预训练网络的语义bottleneck层进行融合(auto-encoder)(Fig. 1b) 尽管这些进步扩展了适用的场景，但它们仍然存在严重的缺陷：它们的性能严重依赖于人类对辅助损失和融合规则的知识。

• Contributions

        DeFusion--a self-supervised learning framework 从图像融合的定义中学习，图像融合的本质是整合多个源图像的互补信息 Decompose source image into unique component and shared component, target fusion image can be generated by simply combining the components.trained only with the COCO dataset, without any further fine-tuning or introducing an additional fusion rule.

• Methods

• Methods--self-supervised learning pipeline

        image fusion by self-supervised learning single modality fusion(same type of sensor with different settings) multi-modal fusion(come from different sensors, such as infrared-visible) original scene   --------------- source images------------------ fused  image.

• Methods--CUD Pretext Task

• Experiments

• Conclusion

        提出了一个统一且通用的图像融合框架，融合分解用于多个图像融合任务。为了获得源图像的有效表示，设计了基于共同和特有分解 (CUD) 的任务，以自监督的方式进行训练，并且适用于图像融合任务。与以前的无监督和监督方法相比，所提出的方法实现了相当或更好的性能。该模型的特征嵌入和可泛化性也得到了验证。

• References

[1] Nikolov, Stavri, et al. "Wavelets for image fusion." Wavelets in Signal and Image Analysis: From Theory to Practice (2001): 213-241.

[2] Wang, Wencheng, and Faliang Chang. "A Multi-focus Image Fusion Method Based on Laplacian Pyramid." J. Comput. 6.12 (2011): 2559-2566.

[3] Li, Shutao, Xudong Kang, and Jianwen Hu. "Image fusion with guided filtering." IEEE Transactions on Image processing 22.7 (2013): 2864-2875.

[4] Yang, Bin, and Shutao Li. "Multifocus image fusion and restoration with sparse representation." IEEE transactions on Instrumentation and Measurement 59.4 (2009): 884-892.