【论文阅读】SDCFusion：A semantic-driven coupled network for infrared and visible image fusion

A semantic-driven coupled network for infrared and visible image fusion（2024InfFus）

现有方法存在的问题

1.传统方法需要手工设计融合规则；时间消耗较高。

2.现有的图像融合方法只关注像素级融合，忽略了场景中的高级语义信息。

研究方法

整体框架

由一个双分支共享编码器和两个解码器（结构相同、参数不同）组成。

联合优化

验证策略

 
1.将融合网络的输出与红外图像一起输入到分割网络中，获取基于融合图像的分割结果，并计算这些结果与真实分割标签之间的mIoU值。

2.使用这个mIoU值来动态调整一个基于mIoU的语义度量权重，该权重用于自适应地平衡训练过程中联合优化（融合损失和语义损失）和驱动优化（验证损失）的权重分配。

这样，随着分割网络性能的提升，