文章目录
多聚焦图像融合 (MFIF) 论文和代码汇总
1. 论文和代码
1.1 综述
论文 | 论文工作 | 期刊, 发表时间 | 中科院分区 | 代码 |
---|---|---|---|---|
Pixel-level image fusion: A survey of the state of the art | 介绍了传统图像融合方法 | Information Fusion, 2016 | 1区 | |
Deep learning for pixel-level image fusion: Recent advances and future prospects | 对比了传统图像融合方法与DL方法 | Information Fusion, 2018 | 1区 | |
Multi-focus image fusion: A Survey of the state of the art | Information Fusion, 2020 | 1区 | ||
Image fusion meets deep learning: A survey and perspective | Information Fusion, 2021 | 1区 | Code | |
Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study | 论文介绍 – 作者原贴 | TPAMI, 2021 | 1区, CCF-A | Code |
Image Fusion Techniques: A Survey | Archives of Computational Methods in Engineering, 2021 | 2区 | ||
A review of image fusion: Methods, applications and performance metrics | Digital Signal Processing, 2023 | 3区 | ||
Current advances and future perspectives of image fusion: A comprehensive review | Information Fusion, 2023 | 1区 | ||
基于深度学习的图像融合方法综述 | 介绍了图像融合方法,常用的评价指标和数据集 | 中国图象图形学报, 2023 | Code |
1.2 传统方法
传统的多聚焦图像融合方法(MFIF)可以分为两类:
- 变换域方法:包括多尺度分解(MST)和特征空间变换(如SR)两大类,以及二者的结合方法 MST-SR
- 空间域方法:基于决策图对源图像中清晰的图像块进行拼接,前提是基于各种活动水平测量方法评判每个图像块的清晰程度。
方法 | 论文 | 方法类别 | 创新点 | 期刊, 发表时间 | 中科院分区 | 代码 |
---|---|---|---|---|---|---|
GFF | Image Fusion With Guided Filtering | 图像分解 + 决策图 | 首次提出基于引导滤波的MFIF方法,将图像进行 two-scale 分解再融合 | TIP, 2013 | 1区, CCF-A | |
DSIFT | Multi-focus image fusion with dense SIFT | 决策图 | 基于 dense SIFT 提取图像块特征 | Information Fusion, 2015 | 1区 | Matlab Code |
MST-SR | A general framework for image fusion based on multi-scale transform and sparse representation | 图像分解 + SR | 将 MST 和 SR 两类方法结合起来,二者分别用于融合低频和高频信息 | Information Fusion, 2015 | 1区 | Matlab Code |
CSR | Image Fusion With Convolutional Sparse Representation | 特征空间变换 | 卷积稀疏表示,解决了基于SR的MFIF方法的两大缺点 | IEEE Signal Processing Letters, 2016 | 3区 | Matlab Code |
Multi-focus image fusion using Content Adaptive Blurring | 决策图 | 基于内容自适应模糊算法实现 MFIF | Information Fusion, 2019 | 1区 | ||
A novel sparse representation based fusion approach for multi-focus images | 特征空间变换 | 基于SR的MFIF方法 | Expert Systems with Applications, 2022 | 1区 |
1.3 深度学习方法
基于深度学习的多聚焦图像融合方法可以分为两类:
- 基于决策图的方法:使用各种CNN网络判断图像块的聚焦属性(清晰程度),选择源图像中清晰的像素进行融合。
- 端到端的方法:使用各种网络,输入源图像,输出融合图像;不依赖于决策图。
1.3.1 具有代表性的方法
1.3.2 其他 SOTA 方法
2. 多聚焦图像融合数据集
2.1 公开数据集
数据集名称 | 相关论文 | 介绍 | 图像数量 | 分辨率 | 地址 |
---|---|---|---|---|---|
Lytro | 相机拍摄得到,聚焦和散焦区域的边界自然过渡 | 20 对 Double Series 彩色图像,4对 Triple Series 彩色图像 | 520*520 | Lytro Dataset | |
MFFW | MFFW: A new dataset for multi-focus image fusion | 相机拍摄得到,聚焦和散焦区域的边界自然过渡 | 19 对 Double Series 彩色图像 | 不固定 | MFFW Dataset |
MFI-WHU | MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion | 从 COCO 数据集中选择 120 张图像作为清晰图像,对其加mask得到模糊区域,聚焦和散焦区域具有明显边界,过渡不自然 | 120 对 Double Series 彩色图像 | 不固定 | MFI-WHU Dataset |
GrayScale | 灰度图像,聚焦和散焦区域的边界自然过渡 | 10 对 Double Series 灰度图像 | 不固定 | GrayScale Dataset |
2.2 生成数据集的方法
自制多聚焦图像融合数据集的方法是:对清晰图像进行模糊获得多张聚焦区域不同的源图像。
可以使用三种方法获得:
- 对清晰图像采用 mask 进行高斯模糊,绝大部分论文采用这种方法
- 使用 ps 手动模糊目标区域,MFI-WHU数据集 就是这样做的
- 基于 RGB-D 深度数据集,设置随机深度阈值对清晰图像的前景和背景依次进行高斯模糊,获得源图像对,参考 IFCNN 和 FusionDiff
3. 图像融合评价指标
评价指标计算代码下载地址如下,下面几个项目基本包括了所有常见的图像融合评价指标。
评价指标 | 地址 |
---|---|
AG, CC, EN, FMI, MI, MSE, SSIM, MEF-SSIM, MS-SSIM, N A B / F N_{AB/F} NAB/F, PSNR, Q A B / F Q_{AB/F} QAB/F, SCD, SD, SF, VIFF | Linfeng-Tang |
EN, CC, SD, SF, SSIM, VIFF | HarrisXia |
Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, Q E Q_{E} QE, Q G Q_{G} QG, MI, NCIE, Q P Q_{P} QP, Q Y Q_{Y} QY | yuliu |
AG, EN, PSNR, Q A B / F Q_{AB/F} QAB/F, Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, RMSE, SF, SSIM 等 | xingchenzhang |