图像融合论文阅读：(PMGI)一种基于梯度与强度比例保持的快速统一图像融合网络

最新推荐文章于 2025-04-23 21:22:08 发布

图像强

最新推荐文章于 2025-04-23 21:22:08 发布

阅读量2.3k

点赞数 24

分类专栏：图像融合文章标签：论文阅读图像处理深度学习人工智能 python

本文链接：https://blog.csdn.net/jiexiang5396/article/details/135090965

版权

图像融合专栏收录该内容

40 篇文章

订阅专栏

@inproceedings{zhang2020rethinking,
title={Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity},
author={Zhang, Hao and Xu, Han and Xiao, Yang and Guo, Xiaojie and Ma, Jiayi},
booktitle={Proceedings of the AAAI conference on artificial intelligence},
volume={34},
number={07},
pages={12797–12804},
year={2020}
}

论文级别：CCF-A
影响因子：-

📖[论文下载地址]

💽[代码下载地址]

📖论文解读

本论文发表于2020年，是SDNet的前身，想看后续的同学可以移步：
[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]

🔑关键词

图像融合

💭核心思想

（和SDNet思想非常非常相似，毕竟两篇论文是前世今生）
作者提出了一种基于【梯度和强度的比例维持】（proportional maintenance of gradient and intensity，PMGI）的【端到端】的【多任务图像融合】网络。
图像融合问题可以统一视为源图像【梯度】【强度】的比例维护问题。
网络分为两条路：梯度路径负责提取高频纹理信息，强度路径负责源图像像素强度信息的提取。
加入了特征重用（即DenseNet的密集连接）和信息交换操作。
损失函数由梯度损失项和强度损失项构成。

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

PMGI网络结构如下图所示。看起来很复杂，其实梳理一下很简单。
在这里插入图片描述
从图中我们可以看出，上面是梯度路径，下面是强度路径。输入图像并不是简单的拼接，而是让拼接比 $\beta=1：2$ ，
（我的理解是，以往的图像融合有两个源图像作为输入，分别是A和B，即为A+B，
而本文创新为AAB+BBA，使“你中有我，我中有你，但是我还是我【因为AAB里A占大头，即A“还是”A】，你还是你”）
最终的特征图也是由不同卷积时期的特征图拼接形成的，因为填充设置为SAME，所以特征图尺寸均一样，方便拼接。

📉损失函数

在这里插入图片描述
A和B分别代表两幅源图像， $\mathcal L_{(·)_{int}}$ 代表A或者B的强度损失， $\mathcal L_{(·)_{grad}}$ 代表相应的梯度约束。 $\lambda_{(·)}$ 代表各项权重系数。
看起来很复杂是不是，换种写法，上式可以表示为：
总损失函数=A的强度损失+A的梯度损失+B的强度损失+B的梯度损失。每项前面有个系数。
在这里插入图片描述

这两组公式也很好理解，就是融合结果和源图像的二范数平方，或者是梯度的二范数平方。HW是图像高和宽。
详细解释可以看本专栏其他论文解读，写的很清楚。
在公式1中，四个参数如何确定呢？
作者给出的解释就是，【不同的任务权重不同】。

可见光-红外
融合结果在强度方面应该主要看红外图像的，在梯度方向主要看可见光图像的。
因为强度反应的是热辐射目标，梯度反应的是纹理细节。
多曝光
同样重要，互为补充，所以相等
多聚焦
同理
医学图像PET-MRI
强度主要从PET中获得，纹理主要从MRI中获得。那下式第一项为什么是等于号不是大于号呢？
因为PET图像从RGB转换到IHS中，I分量比MRI大的多，如果再大于，则强度会掩盖纹理。为了平衡强度和纹理所以如此。
pan-sharpening（全色图像锐化）

全色图像具有较高的空间分辨率(丰富的纹理细节)，多光谱图像包含丰富的颜色信息。
为了避免光谱失真，只对全色图像的纹理信息进行约束，而不约束强度。

🔢数据集

TNO dataset for task1;
MEF dataset and the dataset provided by (Cai, Gu, and Zhang 2018) for task2;
MRI and PET images from Harvard medical school website for task3;
the dataset provided by (Nejati, Samavi, and Shirani 2015) and sametaymaz4 for task4
the panchromatic and multi-spectral images generated by the Quickbird satellite for task5.

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

VIF：源图像都是灰度图像
多聚焦：同上
医学：PET是RGB，转换为IHS，使用I通道和MRI融合
多曝光：将RGB转换到YCbCr，融合Y通道，CbCr使用传统方法融合。
全锐化：多光谱4通道，全色图像单通道。分辨率为1：4。使用双三次插值将多光谱上采样至全色尺寸，然后将多光谱的每个通道都分别与全色图像融合，最后将4个中间结果拼接在一起形成最终结果。