写在前面:相信大家看过许多图像融合的论文和方法了,一些基本概念大家也都耳熟能详。但这里还是提出一些我自己的观点和总结,欢迎一起讨论,学习。
图像融合现有分类
目前图像融合可按层次划分:像素级图像融合,特征级图像融合,决策级图像融合;
像素级图像融合: 融合操作面向像素点,是目前信息融合框架下最常用的层级。因为其融合过程中可以增加原始数据的信息量。举例来说,都是两幅512512的图像,在经过融合后生成的512512图像,其信息量大于融合前的单独的两幅512*512图像。所以像素级融合目前还是主流方法,其后的探究都围绕像素级图像融合。
特征级图像融合: 如果脱离信息融合框架,目光放在计算机视觉处理上。特征级图像融合就有它的用武之地:1,它不需要源图像的精准图像配准。2,它处理速度快于像素级,具有实时性处理的可能性。3, 挖掘图像关联性,提取复合特征。
决策级图像融合: 作为最高一层的融合,它对1,2层融合有极强的依赖性,所提取出来的信息也是最抽象的,此时的目的出发点是否是计算机视觉都很难定性;它有着数据库和专家系统,能对提取的特征做最优的决策。在一些机器学习的视觉处理中,决策图像融合方法有时也会被使用:如数据挖掘,模式识别等。
基于变换域的图像融合
在像素级图像融合中,所有的方法可以被分为三类:①、空间域图像融合:HIS变换、PCA等。②、变换域图像融合:金字塔分解、小波变换等。③、其它:混合方法,神经网络等。
视解决的问题和实际应用的不同,我们会采用不同的图像融合方法。在本期和接下来的几期中,会先学习变换域的图像融合。
一般步骤
①、将图像按照变换规则,改变其空间。(可以理解为一个映射)
②、在变换后的空间进行融合操作。
③、在所有空间完成融合后,逆变换回原空间。
举例
金字塔变换域
金字塔分解是一种经典的变换域方法。
①、分别建立两个图像金字塔(变换)
(1)读取原图像,设大小为512512。
(2)金字塔底层图像,大小:512512。
(3)金字塔第二层图像,大小:256256。
(4)金字塔第N层图像,大小:256/2 ^ N-1256/2^N-1。
②、对金字塔每一层图像进行融合处理。
③、根据变换的原则进行逆操作,得到512*512的图像。
可以看到,它的流程符合变换域的一般步骤。
变换的目的是为了更好的融合,所以这两个步骤是最重要的:1、选取或制定怎样的变换规则。2、变换得到的数据要怎样融合效果会更好。
为了完成1和2,前辈们做了许多相关的工作,时至今日,图像融合技术已经比较成熟,许多经典的方法和算子早已被提出和应用。
对于正在学习的我们,完成1和2所走过的路大多还需要再走一遍。下篇开始将逐步解决第一个问题:拉普拉斯金字塔。附MATLAB代码。
欢迎评论交流,共同学习。