【论文阅读】MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection

MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection（CVPR2023）

现有方法存在问题：

Separate Optimization忽略了对象检测对图像融合的正面影响，因为它孤立地训练每个任务，缺乏任务间的互动与互补。

Cascaded Optimization虽然尝试结合两者，但因直接用高级的对象检测约束低级的图像融合，导致特征不匹配，影响了优化效果。

这两种方法都未能充分利用两个任务之间的相互促进潜力。

本文贡献：

提出了一种元特征嵌入网络（MFE）。思路是，如果M F E 根据IVIF网络能力生成OD特征，那么OD特征自然兼容IVIF网络，并且可以通过模拟元学习来实现优化。

（1）我们探索了IVIF和OD的联合学习框架，并提出了MetaFuison以在这两个任务上获得优异的性能。

（2）元特征嵌入网络旨在生成弥合F和D之间差距的元特征。

（3）随后，引入F和D之间的相互促进学习以提高其性能。

(4)大量的图像融合和目标检测实验验证了该方法的有效性。

研究方法

元特征嵌入

Meta-feature Embedding的核心思想是创建一个中间层，该层能够生成与融合网络兼容的语义特征，从而在两个不同级别的任务——图像融合和对象检测之间建立一座桥梁。具体来说，它包含两个关键组件：元特征生成器（Meta-feature Generator, MFG）和特征转换器（Feature Transformer, FT）。

MFG负责根据红外与可见光图像融合网络（F）产生的特征和对象检测网络（D）提供的语义信息，生成元特征。这意味着MFG能够理解融合网络当前的能力，并据此生产与之相适应的、富含语义的特征表示。这一步骤确保生成的元特征与融合特征在语义上是一致的，便于后续的融合处理。

特征转换器FT则负责将元特征转化为实际可用于图像融合的特征。它通过生成特征桥接（feature bridge），使得元特征能够直接被融合网络所用，以增强图像融合的质量和语义信息的保留。

内更新（Inner Update）: 在此阶段，首先使用元训练集优化IVIF网络（F），以获得更新后的网络F'。然后，使用F'在元测试集上计算融合损失，以优化MFG和FT。目的是使MFG成功生成与F兼容的元特征，从而提高F'生成的融合图像的质量。

外更新（Outer Update）: 在此阶段，使用固定参数的MFG和FT，对IVIF网络F进行训练。F通过元特征的指导进行优化，学习如何提取语义信息以提高融合质量。

相互促进学习

用不断优化的融合网络F生成的高质量融合结果来微调对象检测网络D，反过来，优化后的D又能够提供更优质的语义信息来训练F，形成一个正向反馈循环，共同提升图像融合和对象检测的表现。

网络结构

FFB网络结构：

目标检测网络结构：yolov5

元特征嵌入网络

元特征生成器网络结构：

特征转换器网络结构：