图像融合论文阅读：CoCoNet: 基于多层特征集成的耦合对比学习网络多模态图像融合

最新推荐文章于 2024-09-26 17:08:09 发布

图像强

最新推荐文章于 2024-09-26 17:08:09 发布

阅读量4.6k

点赞数 28

分类专栏：图像融合文章标签：论文阅读图像融合图像处理深度学习论文笔记

本文链接：https://blog.csdn.net/jiexiang5396/article/details/135218283

版权

图像融合专栏收录该内容

40 篇文章

订阅专栏

@article{liu2023coconet,
title={Coconet: Coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion},
author={Liu, Jinyuan and Lin, Runjia and Wu, Guanyao and Liu, Risheng and Luo, Zhongxuan and Fan, Xin},
journal={International Journal of Computer Vision},
pages={1–28},
year={2023},
publisher={Springer}
}

论文级别：SCI A2
影响因子：19.5

📖[论文下载地址]

📖论文解读

作者提出了一种耦合对比学习网络CoCoNet，这是一个【通用】的图像融合网络。
使用耦合对比学习来指导模型区分目标以及纹理细节，并且采用了一种测量机制来计算源图像的比例重要性，以生成数据驱动的权重并应用于损失函数之中。

🔑关键词

image fusion, infrared and visible image, unsupervised learning, contrastive learning
图像融合，红外和可见光图像，无监督学习，对比学习

💭核心思想

保持互补信息，消除冗余信息。
使用数据驱动机制计算信息保留度，以提高融合结果和源图像强度和细节的一致性。
使用多级注意力模块（multi-level attention module ，MAM）避免融合过程中的特征退化。

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下所示。
在这里插入图片描述

在这里插入图片描述
$C A (\cdot)$ 是通道注意力

🪢耦合对比学习

作者的思路是，将红外图像的显著目标作为正样本，将可见光图像的显著目标作为负样本；同理，将可见光图像的的背景作为正样本，红外图像背景作为负样本。
基于TNO数据集人工标注掩膜，设 $\mathcal M$ 为前景的显著掩膜， $\bar {\mathcal M}$ 为背景的显著掩膜。
红外图像×前景掩膜可以得到显著目标，可见光图像×背景掩膜得到了背景信息。
在这里插入图片描述
作者选用预训练VGG-19代表G，将此处的损失函数定义为：

N和M分别为每个正样本的VGG层数和负样本数。
$\mu_i$ 代表融合图像的前景特征 $G_i(I_F\odot \mathcal M)$
$\mu_i^+$ 和 $\mu_i^{m-}$ 分别是正样本和负样本, $\mu_i^+=G_i(I_R\odot \mathcal M)$ $\mu_i^{m-}=G_i(I_V^m \odot \mathcal M)$
$m$ 代表第m个负样本， $_1$ 是L1范数。
同理，在背景部分，将可见光图像背景作为正样本，红外图像背景作为负样本。细节约束的目标函数为：
在这里插入图片描述
$v_i$ 代表融合图像的背景特征 $G_i(I_F\odot \bar {\mathcal M})$
$v_i^+$ 和 $v_i^{m-}$ 分别是正样本和负样本, $v_i^+=G_i(I_V^m \odot \bar {\mathcal M})$ $v_i^{m-}=G_i(I_R \odot \bar {\mathcal M})$

📉损失函数

自适应损失函数=结构损失+强度损失

在这里插入图片描述

以往的方法，权重参数都是手工设计的经验值，本文作者设计了一种考虑数据特性的自适应损失。
一方面，为了保留纹理细节，采用平均梯度法(AG)优化SSIM损失的权重参数 $\sigma$

${\nabla _h}{I_F}$ 和 ${\nabla v}{I_F}$ 分别代表融合图像从水平方向和垂直方向的一阶微分（梯度）
在这里插入图片描述
另一方面，采用图像熵(EN)更新强度损失：

$L$ 代表给定图像的灰度值， $p_x$ 像素处于对应灰度值的概率。
EN是像素级计算的图像信息量，与MSE约束密切相关，因为MSE约束也是像素级的约束。