基于nsst图像融合代码_图像融合研究的一个特点

图像融合技术旨在基于多幅图像融合生成更好的图像，主要包括以下类别：

1. 可见光与红外图像融合
2. 多聚焦图像融合
3. 多曝光图像融合
4. 医学图像融合
5. 遥感图像融合
6. 其他多模态图像融合

由于图像融合技术可以提高图像质量，或者弥补单一模态图像由于成像机制限制导致的缺点，因此图像融合在很多领域有应用价值。也因此，图像融合技术被研究了很多年。

近年来，随着深度学习技术的兴起，越来越多的研究人员开始研究基于深度学习的图像融合方法。然而，根据上海交通大学和帝国理工学院相关研究人员的研究，与图像处理和计算机视觉里的其他研究方向相比，图像融合领域的研究有一个重要特点：尽管这三四年以来，基于机器学习/深度学习技术的图像融合研究越来越多，也有不少方法被发表出来，然而目前深度学习并没有在图像融合领域取得压倒性优势。

研究人员发现，非深度学习方法，例如基于多尺度变换、指导滤波、压缩感知、稀疏表达等的方法，依然有很多人在研究，每年依然有大量论文发表。

从性能表现上来看，传统方法的性能并不输于深度学习方法。以可见光与红外图像融合为例，根据实验结果，深度学习方法的性能甚至和传统方法还有差距[1]。此外，不少深度学习方法的运行效率不是很高，无法实现实时融合。

也就是说，从综合性能上来讲，目前基于深度学习的图像融合方法并没有取得优势，遑论压倒性优势了。

考虑到在检测、跟踪、识别、分类等领域里深度学习方法完全吊打传统方法，图像融合领域的这一特点值得深思。

同时，这一特点也使得基于深度学习的图像融合成为现在的一个很好的研究方向。尽管各种基于CNN、GAN、AotuEncoder，有监督无监督的方法层出不穷，但仍然存在着许多研究点。

或许，在不久的将来会出现吊打传统方法的深度学习图像融合算法。拭目以待~

参考文献：

[1] X. Zhang, P. Ye, G. Xiao. VIFB: A Visible and Infrared Image Fusion Benchmark. CVPRW, 2020.

CVPR 2020 Open Access Repository​openaccess.thecvf.com VIFB: A Visible and Infrared Image Fusion Benchmark​arxiv.org https://github.com/xingchenzhang/VIFB​github.com