【红外与可见光图像融合】CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Mult

本文的backbone使用U-Net，虽然作者没怎么强调这一点，backbone部分是把VIS和IRconcat到一起提取特征，VIS和IR还分别使用VGG提取了独特的特征，并从第二层开始使用作者提出的MAM（注意力融合块）融合三部分特征，然后再送入同一层的decoder部分。得到一个融合图像，为了同时保留两种模态的典型特征并避免在融合结果中出现伪影，我们在损失函数中开发了一种耦合对比约束。
首先使用自适应权重可学习的损失函数训练网络，然后再添加对比损失进行微调。
作者的数据集格式是.h5，是作者自己预处理的，本文把图像分解为前景和背景的掩码M是预处理好保存在.h5文件里的。
#代码公开
#对比学习
#通用融合框架

1、摘要

现有的基于学习的融合方法尝试构建各种损失函数以保留互补特征，但忽略了发现两种模态之间的相互关系，导致融合结果中出现冗余甚至无效的信息。此外，大多数方法侧重于通过增加网络的深度来加强网络，而忽视了特征传递的重要性，导致重要信息的退化。为了解决这些问题，我们提出了一种耦合对比学习网络，称为CoCoNet，以端到端的方式实现红外和可见光图像融合。具体来说，为了同时保留两种模态的典型特征并避免在融合结果中出现伪影，我们在损失函数中开发了一种耦合对比约束。在融合图像中，其前景目标/背景细节部分在表示空间中被拉近到红外/可见源并远离可见/红外源。我们进一步利用图像特征提供数据敏感权重（这一块应该指的是自适应的权重），使我们的损失函数能够与源图像建立更可靠的关系。