图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network

最新推荐文章于 2024-04-28 22:16:21 发布

图像强

最新推荐文章于 2024-04-28 22:16:21 发布

阅读量3.4k

点赞数 27

分类专栏：图像融合文章标签：论文阅读深度学习图像处理人工智能

本文链接：https://blog.csdn.net/jiexiang5396/article/details/135094572

版权

图像融合专栏收录该内容

40 篇文章

订阅专栏

IFCNN是一种全卷积的端到端图像融合模型，利用预训练的ResNet101进行特征提取，采用元素融合策略处理多通道输入。论文介绍了网络结构、损失函数、数据集和训练设置，并与多个基线模型进行了比较。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@article{zhang2020ifcnn,
title={IFCNN: A general image fusion framework based on convolutional neural network},
author={Zhang, Yu and Liu, Yu and Sun, Peng and Yan, Han and Zhao, Xiaolin and Zhang, Li},
journal={Information Fusion},
volume={54},
pages={99–118},
year={2020},
publisher={Elsevier}
}

论文级别：SCI A1
影响因子：18.6
📖

📖论文解读

该论文是【基于CNN】的图像融合方法。网络模型是【端到端】，适用于【多类型图像融合任务】，从【多聚焦图像融合】展开。
此外，作者还发布了新的数据集。

🔑关键词

General image fusion framework 通用图像融合框架
Convolutional neural network 卷积神经网络
Large-scale multi-focus image dataset 大规模多聚焦图像数据集
Better generalization ability 更好的泛化性能

💭核心思想

IFCNN是一个【全卷积】的【端到端】【通用】图像融合模型，模型包括：特征提取、特征融合、特征重构三部分。

输入（【多组】【3通道】图像）
- RGB->YCbCr，叠加Y通道3次作为输入
- 单通道图像，直接叠加3次变成3通道
特征提取
使用在ImageNet上预训练的ResNet101的第一个卷积层作为特征提取的第一个卷积层，但是因为该卷积层是用于分类任务的，因此添加了第二个卷积层以适应图像融合任务。
特征融合
并没有采用concat后再卷积融合的操作，而是使用元素融合规则（元素【最大】、【最小】、【平均】）。前者要求特征输入模块参数个数随输入改变，而元素融合规则不需要，可以融合任意数量的输入图像。本文使用：
- 可见光-红外、多聚焦、多模态医学：【元素最大】
- 多曝光：【元素平均】
特征重构
因为特征提取结构简单，特征抽象级别不高，所以重构也简单的使用了两层卷积
输出
引入了【感知损失】对模型进行正则化，

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下图所示。结构很清晰明了。
在这里插入图片描述
CONV1包含64个7×7的卷积核，步长为1，padding为3。（不需要再训练，直接使用固化的参数）
CONV2包含64个3×3的卷积核，步长为1，padding为1。
在FUSE中，采用了相应任务的元素融合规则，公式如下：

$f^j_{i,c_2}$ 代表了CONV2中，从第i张图像提取的第j个特征图。 $\hat {f^j}$ 代表了融合特征图的第j个通道。 $f u se$ 表示元素融合规则。
因为下采样会丢失信息，因此该网络没有进行任何下采样。整个网络中特征图和输入图像尺寸均一致。
CONV3包含64个3×3的卷积核，步长为1，padding为1。
CONV3包含3个1×1的卷积核，目的是为了将64通道的特征图压缩至3通道。
在输入的地方，RGB2YCbCr的公式为：
在这里插入图片描述

📉损失函数

感知损失由ResNet101最后一个卷积层提取的预测融合图像特征图与标签融合图像的均方误差构成：
在这里插入图片描述
$f_p$ 和 $f_g$ 分别代表预测融合图像的特征图以及融合图像ground truth的特征图，i为特征图的通道索引， $C_f$ 、 $H_f$ 、 $W_f$ 分别代表特征图的通道数、高、宽。

在这里插入图片描述
$I_p$ 和 $I_g$ 分别代表预测融合图像以及融合图像的ground truth，i为RGB图像通道索引。 $H_g$ 、 $W_g$ 分别为融合图像ground truth的高和宽。
总损失如下：

$\omega_1$ 和 $\omega_2$ 为权重系数，本文设置均为1.