@article{li2021rfn,
title={RFN-Nest: An end-to-end residual fusion network for infrared and visible images},
author={Li, Hui and Wu, Xiao-Jun and Kittler, Josef},
journal={Information Fusion},
volume={73},
pages={72–86},
year={2021},
publisher={Elsevier}
}
论文级别:SCI A1
影响因子:18.6
文章目录
📖论文解读
作者提出了一种【基于残差结构】的残差融合网络RFN-Nest,提出了一种【细节保留损失】函数和【特征增强损失】函数来训练网络,训练过程为【两阶段】,第一阶段训练基于【嵌套连接nest connection (Nest) 】的【自编码器】,第二阶段使用所提出的损失函数训练神经网络。
🔑关键词
image fusion, end-to-end network, nest connection, residual network, infrared image, visible image
图像融合,端到端网络,嵌套链接,残差网络,红外图像,可见光图像
💭核心思想
使用残差融合网络RFN融合多尺度深层特征(代替手工融合策略)和基于嵌套连接的解码器实现VIF。
使用RFN使基于自编码器的图像融合网络变成了端到端的融合网络。作者使用两阶段训练策略来训练融合网络(编码器、解码器和RFN),并使用细节保留损失和特征增强损失训练RFN。
🪢网络结构
作者提出的网络结构如下所示。“k×k,(in,out)”代表k×k卷积核,输入通道和输出通道。
🪢RFN网络结构
Φ
i
r
m
\Phi _{ir}^m
Φirm和
Φ
v
i
m
\Phi _{vi}^m
Φvim分别为第m尺度的深度特征图。Conv1和Conv2的输出concat后作为Conv3的输入,Conv6是用于产生初始融合特征的第一个融合层。
Φ
f
m
\Phi _{f}^m
Φfm为融合特征。
🪢解码器网络结构
下图为基于嵌套连接结构的解码器网络结构图,该模型在UNet++的基础上做了简化。
Φ
f
m
\Phi _{f}^m
Φfm为RFN得到的融合多尺度特征。DCB为有两个卷积层的解码卷积块。
每行均使用跳接连接,和dense block很像。跨层连接,连接着解码器网络中的多尺度深度特征。
该模块输入是使用多尺度特征重构的融合图像。
📝训练策略
先训练AE,然后训练RFN
📝训练AE
📝训练RFN
在固定AE的情况下,使用适当的损失函数训练RFN
L
d
e
t
a
i
l
L_{detail}
Ldetail和
L
f
e
a
t
u
r
e
L_{feature}
Lfeature分别代表背景细节保存损失函数和目标特征增强损失函数。
在VIF中,大多数背景信息来自于可见光图像。
红外图像包含更多的显著目标特征。
M是多尺度深度特征的个数。本文设置为4.
由于多尺度之间存在着幅度差异,因此
ω
1
\omega_1
ω1是平衡参数,本文设置为{1,10,100,1000}
ω
v
i
\omega_{vi}
ωvi和
ω
i
r
\omega_{ir}
ωir控制着红外特征和可见光特征对融合特征图的影响程度,即权重系数。
📉损失函数
见上节。
🔢数据集
- 训练
- 一阶段 MS-COCO,灰度图,256×256
- 二阶段 KAIST
- 测试
- TNO, VOT2020-RGBT
图像融合数据集链接
[图像融合常用数据集整理]
🎢训练设置
🔬实验
📏评价指标
- EN
- SD
- MI
- NABF
- SCD
- MS-SSIM
参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]
🥅Baseline
- DCHWT、GTF、ConvSR、VGGML、DenseFuse、Fusiongan、IFCNN、NESTFuse、PMGI、DDCGAN和U2Fusion
🔬实验结果
从下图可以看出
ω
v
i
\omega_{vi}
ωvi和
ω
i
r
\omega_{ir}
ωir大小对融合结果的影响。
更多实验结果及分析可以查看原文:
📖[论文下载地址]
💽[代码下载地址]
🚀传送门
📑图像融合相关论文阅读笔记
📑[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
📑[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
📑[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
📑[DenseFuse: A fusion approach to infrared and visible images]
📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]
📚图像融合论文baseline总结
📑其他论文
📑[3D目标检测综述:Multi-Modal 3D Object Detection in Autonomous Driving:A Survey]
🎈其他总结
🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]
✨精品文章总结
✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]
如有疑问可联系:420269520@qq.com;
码字不易,【关注,收藏,点赞】一键三连是我持续更新的动力,祝各位早发paper,顺利毕业~