摘 要
红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。而通过图像融合是实现这一效果的有效方法，融合后的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及对源图像的进一步分析、理解以及目标检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。
本文针对红外和可见光图像融合算法进行了研究。通过使用计算机图像处理方法，对同一场景的红外图像和可见光图像进行融合处理，得到一副单一的融合图像，它成功包含了两副源图像的信息。本文主要研究了利用MATLAB软件实现对红外和可见光图像的处理和融合，采用对应像素取大值、取小值、平均值，区域能量、区域对比度比较的融合方法，并且对融合结果图像使用信息熵、标准
差、平均梯度、空间频率的评价指标进行了分析比较。结果表明，融合结果图像
既保留了可见光图像的清晰的轮廓信息，同时也显示了目标物体的表面温度分布情况。
关键字：图像融合，红外图像，可见光图像，MATLAB软件
ABSTRACT
Infrared technology, a new modern tool to be used for human beings to research and explore nature, has been widely applied to many fields which include biology, medicine, geoscience and military reconnaissance in different countries.Infrared image reflects the temperature distribution of objects in the scene. However, the target infrared radiation is very complex, and there are many factors which affect the target infrared radiation, thus Infrared thermal image clarity is much less than the visual image.A visual image can describes the shape of all the objects in the scene and has good ability to represent objects' outline.Therefor,the integration of Infrared image and visual image have very good results.In addition,to fuse them into a single image is very useful to achieve this goal .Fused images are more reliable,less vague and more understandable, which should be convenient for the following image analysis, recognizing, target detecting and tracing.It takes full advantage of redundant or complementary information from source pictures, and not be identical to common image enhancement. It is a new technology in the area of computer vision and image comprehension.
This thesis is aimed at studying a fused method about Infrared image and visual image.Through computer image processing methods ,fusing the visual image and infrared image about a same scene into a single image to display both images1 information.This paper is focusing on using MATLAB software to achieve the integration of Infrared image and visual image.Moreover,using maximal or minimal pixel selection , pixel average, Regional energy, Regional Contrast ,The fusion image using information entropy, standard deviation,average gradient, spatial frequency evaluation index analysis.The results show that it not only remains the shape information of the visual image, but also displays the temperature distribution of objects from the infrared image.
KEYWORDS：image fusion,infrared image, visual image, MATLAB software
目录
二十一世纪是一个快速发展的科技信息时代，科学技术的发展日新月异，单一的可见光模式逐渐发展成多种传感器模式，传感器的应用已经渗入到许多领域，尤其以成像传感器最为人们所熟悉，人们对图像质量也提出了更高的要求。在日常生活中，普遍采用硬件更新换代来实现品质的提高，但是，在实际的工程应用中，只是硬件的更换往往还不足以实现工程需求。各种传感器具有不同的成像机理、不同的波长范围、不同的工作环境与要求，完成不同的功能。由于单一的传感器获取的信息量有限，往往难以满足实际需求。利用多源数据可以提供对观测目标更加可靠的观察，因此，为了充分利用越来越复杂的多源数据，各种数据融合技术快速发展起来，目的是将多传感器获得的更多信息合并到一个新的数据集中。所以，可通过对得到的图像进行加工和处理来达到预定目标，这个过程即是图像处理技术。计算机软件技术和数学算法正是这项技术的基础，也是其重点。图像处理技术是一门内容十分丰富的学科，在其发展过程中，已经被分成了多个学科分支，收到诸多学者和研究人员的青睐和重视。
图像传感器种类繁多，表1-1列出了常用图像传感器及其性能特点。
表1-1常用图像传感器及其性能特点
| 传感器类型 | 主要特点 |
| 可见光 | 可获得丰富的对比度、颜色和形状信息 |
| 微光夜视仪 | 夜视，探测距离一般在800-1000米 |
| 红外热像仪 | 昼夜两用，探测距离一般在几千米到十几千米；波段为3-5um(中红外波段)，8-12um(长红外波段) |
| 激光成像雷达 | 兼有测距、测速和成像三种功能，成像距离3-5千米，探测分辨能力强，能够探测出架空电缆之类细小物体 |
| 传感器类型 | 主要特点 |
| 毫米波雷达 | 天候特性优于可见光及红外，抗干扰能力强，分辨率较高 |
| SAR | 天线尺寸小，成像分辨率高，全天时，全天候，对土壤和水有一定的穿透力 |
| 多光谱/超光谱成像仪 | 多个光谱谱段同时、精确测量目标；可用于地形测绘、监听和分析等 |
| 多模态医学成像仪 | 计算机断层扫描(CT)可提供骨组织信息，核磁共振(MR)可提供软组织及脉管信息 |
红外技术[1-2]是20世纪发展起来的新兴应用技术。近50年来，世界各国争相发展利用红外线探测目标的技术，并将之应用于军事领域。近年来一些国家将其大规模推向民用领域。在军事上[3]，红外探测用于制导、火控跟踪、警戒、目标侦察、武器热瞄准器、舰船导航、空降导航等。在准军事领域，可广泛应用于安全警戒、刑侦、森林防火和消防、大气环境检测等方面。在民用领域，广泛应用于工业设备监控、安全监视、交通管理、救灾、遥感以及医学热诊断技术等。在日常生活中，我们所见到的图像绝大部分都是可见光图像(如电视机图像、数码照相机成像等),可见光图像比较客观和真实地展现了目标(物或者景)的空间轮廓信息，可以较好的从背景环境中分离开来，有较高的对比度，这一点在图像视觉信息中显得非常重要，也是可见光图像的优势之所在。
可见光图像和红外图像都具有其固有的优势和缺陷，它们之间存在着显著的差异，而这些差异正好弥补了彼此的缺陷。可见光图像携带的准确丰富的物体空间形态信息，与人眼对目标场景的直接成像状态一致；红外图像是凭借红外探测器而获得的图像信息，而这些信息都是人眼无法直接获取的，但却表征了目标物体的表面温度分布情况，将原本不可见的特征转换为图像形式，成为人眼可以接受的视觉信息。然而，由于红外图像不能如实呈现目标的空间轮廓信息，这给观察者(或者机器视觉系统)带来一些困扰，观察者只能看到目标场景中的温度分布情况，却因为目标与环境对比不明显而无法准确无误的分辨目标物体本身。可见，可见光图像对目标的空间轮廓的完美显示正好弥补了红外图像的这一缺点，若将两者的互补信息融合在一起，那就可以同时获得目标的空间边缘信息以及表面温度分布信息。通过对可见光图像和红外图像采用图像融合处理，将两者的互补信息整合，其输出的融合图像集两者优势为一体，既展示了目标物体的空间细节情况，又将其表面温度分布细节转换为可视信息，这对观察者而言，图像更加全面的展示了目标物体所承载的信息量，使得目标物体的空间结构和局部温度分布都一目了然。
图像融合[4-6]技术是在兴起于70年代末的信息融合技术的基础上发展起来的图像处理新技术。1979年，Daliy[7]等人首先把雷达图像和Landsat-MSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。1981年，Lane和Todd[8]进行了Landsat-RBV和MSS图像数据的融合试验。到80年代中后期，图像融合技术开始引起人们的关注，陆续有人将图像融合技术应用于遥感多谱图像的分析和处理，如1985 年，Cliche和Bonn[9]将Landsat-TM的多光谱遥感图像与SPOT卫星得到的高分辨率图像进行融合，90年代以后，随着多颗遥感雷达卫星[30] JERS-1， ERS-1，Radarsat等的发射升空，图像融合技术成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。其采取的融合方法主要有IHS变换、平均、加权平均、差分及比率、PCA(主分量分析:Principal Component Analysis)，高通滤波[29]等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。自从2000年美国波音公司完成多源信息融合的实验成功实现互补信息的整合，从此，信息融合技术开始得到发展，图像融合技术作为信息融合的一个重要分支，也相继在遥感、医学治疗等领域得到重视和应用。
国内对图像融合技术研究虽然起步较晚，但已有不少研究机构和大学正在从事这一领域的研究和探讨，例如中科院遥感所、武汉测绘大学、中科院上海技术物理研究所、上海交通大学等单位。1990年10月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。图1-2为战场图像的融合。
图 1- 1 战场图像的融合
在多传感器信息融合领域中，图像融合是应用最为广泛，发表文献最多的一个方向：信息融合文章中，信号层的信息融合文章占53％；在中国知网和EI Engineering Village（美国工程索引）数据库中对图像融合的研究趋势和发表文献分别作了统计调查。在中国知网[11]的“学术趋势搜索"中用“图像融合”作为关键词，检索到如图1-2所示的1996年到2008年期间的关注趋势。
在EI Engineering Village数据库中，以image fusion作为关键词搜索到1981年到2010年EI收录的论文如图1-3所示。1981年到1985年，这方面的文献只有134篇，1996年到2000年增加到1941篇，2001到2005年增加到4209篇，2006年到2010年就有8993篇。从中可以看出，国际学术界对图像融合技术的重视程度与日俱增。
图 1- 2 2000年到2013年间图像融合的学术发展趋势
图 1- 3 图像融合的发展变化趋势
图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。图像融合示意图如图 1-4。待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信
图 1- 4 图像融合示意图
息。两幅（多幅）已配准好且像素位宽一致的待融合源图像，如果配准不好且像素位宽不一致，其融合效果不好。图像融合的主要目的是通过对多幅图像间的冗余数据的处理来提高图像的可靠性，通过对多幅图像间互补信息的处理来提高图像的清晰度。
图像融合的主要目的包括：
- 增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图
像中无法看见或看清的某些特性；
(2) 改善图像的空间分辨率，增加光谱信息的含量，为改善检测、分类、理解、识别性能获取补充的图像信息；
(3) 通过不同时刻的图像序列融合来检测场景或目标的变化情况；
(4) 通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体投影、测量等；
(5) 利用来自其他传感器的图像来替代或弥补某一传感器图像中的丢失或故障信息。
1.3.1 图像融合系统的层次划分
图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形成一幅新的图像。图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级[12]。
信号级融合：是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
像素级图像融合:结构如图1-5所示，是指直接对图像中像素点进行信息综合处理的过程像素级图像融合的日的是生成一幅包含更多信息、更清晰的图像像素级图像融合属于较低层次的融合，目前，大部分研究集中在该层次上。像素层图像融合一般要求原始图像在空间上精确配准，如果图像具有小同分辨率，在融合前需作映射处理。
特征级图像融合：结构如图1-6所示，是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度
|
|
区域、相似景深区域等在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的/场合密切相关。通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。特征级图像融合是中间层次上的融合，为决策级融合做准备。特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。特征级融合的优点在于可观的信息压缩，便于实时处理。由于特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。
|
|
决策级图像融合:结构如图1-7所示，是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果后，进行进一步的融合过程最终的决策结果是全局最优决策。决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。决策级融合的主要优点可概括为:①通信及传输要求低，这是由其数据量少决定的；②容错性高对于一个或若十个传感器的数据干扰，可以通过适当的融合力一法予以消除；③数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；④分析能力强，能全力一位有效反映目标及环境的信息，满足小同应用的需要。
|
|
图1-7 决策级图像融合
表 1-2 给出了不同多传感器图像融合层次及其性能特点的比较情况，表1-3给出了不同层次图像融合算法的特点。从表中及前面所介绍的内容可以看出，像素级图像融合是最重要、最根本的多传感器图像融合方法，其获取的信息量最多、检测性能最好、难度也最大，也是本文主要讨论的内容。
表1- 2 图像融合层次及其性能特点的比较
|
特 征 融合层次 | 像素级融合 | 特征级融合 | 决策级融合 |
| 信息量 | 最大 | 中等 | 最小 |
| 信息损失 | 最小 | 中等 | 最大 |
| 容错性 | 最差 | 中等 | 最好 |
| 让干扰性 | 最差 | 中等 | 最好 |
| 对传感器的依赖性 | 最大 | 中等 | 最小 |
| 融合方法难易 | 最难 | 中等 | 最易 |
| 分类性能 | 最好 | 中等 | 最差 |
| 系统开放性 | 最差 | 中等 | 最好 |
| 预处理 | 最小 | 中等 | 最大 |
表1- 3 不同层次图像融合算法的特点
| 特点 | 信号层图像融合 | 像素层图像融合 | 特征层图像融合 | 决策层图像融合 |
| 传感器信息类型 | 信号或者多维信号 | 多幅图像 | 从信号和图像中提取出的特征 | 用于决策的符号和系统模型 |
| 信息的表示级别 | 最低级 | 介于最低级和中级之间 | 中级 | 高级 |
| 传感器信息模型 | 含有不相关随机噪声的随机变量 | 含有多位属性的图像或者像素上的随机过程 | 可变的几何图形、方向、位置以及特征的时域范围 | 测量值含有不确定因素的符号 |
| 图像数据的空间对准精度级别 | 高 | 高 | 中等 | 低 |
| 图像数据的时域对准精度级别 | 高 | 中等 | 中等 | 低 |
| 特点 | 信号层图像融合 | 像素层图像融合 | 特征层图像融合 | 决策层图像融合 |
| 数据融合方法 | 信号估计 | 图像估计或像素属性组合 | 几何上和时域上相互对应，特征属性组合 | 逻辑推理和统计推理 |
| 数据融合带来的性能改善 | 方差期望值缩小 | 使图像处理任务的效果更好 | 压缩处理量、增强特征测量值精度，增加附加特征 | 提高处理的可靠度或提高结果正确概率 |
1.3.2 像素级融合方法综述
本文主要对像素级图像融合方法[13-14]进行了研究。像素级融合是直接在图像原始数据层上进行的融合，这是最低层次的融合。像素级融合是对多源图像的关于同一场景、目标的同一像素级灰度进行的综合处理，生成的新图像能够包含源图像中所有像素点的信息。实施像素级融合之前，必须对参加融合的图像进行预处理和图像配准，目的是为了提高融合的可靠性和精度。每个传感器提高的图像来自不同的时间和空间，或者是在同一时间和空间下具有不同光谱特性的图像。他们提供的信息是多方面的，通过基因像素及融合，增加了图像中的信息，在提供细节信息方面由于特征级和决策级的融合。像素级融合使结果更丰富可靠，有利于进一步分析、处理、理解，能提供最优决策和性能辨识。
根据近年来国内外在图像融合领域的最新研究成果，图像融合方法大致可分为四类[15-16]：基于彩色空间的方法，如IHS空间、基于视觉神经视觉生理学的彩色图像融合方法等；基于数学/统计学的方法，如比值运算、加法和乘法、PCA（主分量分析）、HPF高通滤波、贝叶斯估计、期望最大值方法、非负矩阵分解方法等；基于多分辨率分析的方法，如金字塔方法、小波变换法等；智能图像融合方法，如基于神经网络、模糊理论的融合等。对融合方法的要求一般为能够最大限度的保留源图像中的重要信息，在融合过程中尽可能少地引入虚假信息，同时方法必须具有可靠性、稳健性，最大限度的抑制噪声或未经确配准带来的干扰。
从常用方法的实际应用效果来看，加权融合降低了图像对比度；基于彩色空间的方法容易扭曲原始的光谱特性，产生光谱退化现象；PCA要求被替换和替换的数据之间有较强的相关性，通常情况下，这种条件并不成立；HPF在对高分辨率波段影像滤波时，滤掉了大部分纹理信息；智能图像融合方法虽然是图像处理智能化发展的必然趋势，能够较好地解决图像融合过程中各个不同层次上的不完整性、不准确性非结构化及建模困难等问题，但是实现较为复杂。多分辨率分析方法，在提高图像分辨率同时，对源图像光谱信息的保留具有相当好的性能，包括使用相关性、标准偏差等指标评估都能够得到较好的效果，因此是目前图像融合处理中研究热点之一，各种新方法不断涌现。总的来说，没有一种图像融合方法能够适用于所有的图像类型的融合，各有各的优势和不足，所以对图像融合结果的评价和应用目的密切相关。
1.4 本文的组织结构
本文主旨为学习探究可见光和红外图像的融合技术，一共分为五章讲解图像融合技术的数学理论基础、MATLAB程序设计实现以及对融合结果的总结和对图像融合技术发展前景的展望：
（1）介绍课题的研究背景及意义，简单的探讨了相关的几种技术的意义和发展情况，以及图像融合系统的层次划分；
（2）第二章介绍了图像融合前的预处理，利用MATLAB对图像进行数字化转换，可见光图像和红外图像成像机理，以及研究计算所用的灰度图像；
（3）第三章重点研究了像素级图像融合的原理和方法，利用对应像素、区域能量和区域对比度的比较进行图像融合，可以直观的看到不同方法融合后的图像的外观和特点；
（4）第四章对融合后的图像进行评价，通过熵、平均梯度、标准差、空间频率、互信息量（也称相关熵）、交叉熵（也称相对熵）、边缘保持度（QAB/F）进行详细的评估。
（5）第五章通过MATLAB软件对上述融合方法进行编程实现，并且对融合结果图像进行评价、分析。
（6）第六章为本文的最后一章，是对本课题的总结以及图像融合技术的发展前
景的展望。
对图像的预处理常包括图像归一化（灰度均衡、重采样、灰度插值）、图像滤波、增强图像的色彩和图像的边缘等。图像融合常在不同尺寸、不同分辨率和不同灰度/彩色动态范围的图像间进行。图像归一化是要对这些参数进行归一化，这里除进行几何校正外，还可能要对各图像分别进行重采样以获得相同分辨率的图像；图像滤波是要对高分辨率图像进行高通滤波，获得高分辨率图像的高频纹理信息，以将其与低分辨率图像进行融合时保持高分辨率图像的高频纹理信息；图像色彩增强是对低分辨率图像进行色彩增强，增加其色彩反差，在不改变低分辨率图像原有光谱信息的基础上使得图像色彩比较明亮，从而把低分辨率图像的光谱信息充分反映到融合图像上；图像边缘增强是对高分辨率图像进行的，既要尽可能较低噪声，有药使得图像边界清晰、层次分明，以把高分辨率图像的空间纹理信息有效地融合到低分辨率图像中去。图像配准是要将各副参与融合的图像进行空间配准。图像融合对配准精度有较高的要求，如果空间误差超过一个像素，则融合结果会出现重影，严重影响融合图像的质量。
图像配准可分为相对配准和绝对配准。想对配准指从同一类的多个图像中选择某一（波段）图像作为参考图像，然后将其他（波段）图像与参考图像进行配准。绝对配准则指以同一空间坐标系为参考系，将需融合的多幅图像都与此参考系进行配准。经过预处理和配准，就可对所得到的图像进行信息方面的融合。
数字图像实质上就是将图像用像素方式保存并显示，假设一幅图像大小为
像素，那么该图像在计算机中被表示为
个像素值，其内容就可以用大小为
矩阵G来存储，正因为此又被称为数位图像[22]。
(2-1)
其中，i表示行j表示列，
代表了坐标点(i,j)处的像素值大小。
在图像处理中，计算机将数字图像利用二维数组进行存储和读、写操作，并将二维数组存放在内存中，直到处理过程结束，该部分内存才得以被释放。例如图2-1所示的数据就代表着图像
。事实上，一般图像都比上面的QQ表情图像大的多，数据量大，读取操作比较复杂。图像处理过程实际上就是对二维数组中的元素进行一系列的数学运算，其中可能涉及到各种不同的数学算法，例如平移、几何平均、正余弦变换等，从简单到复杂，种类繁多。图像在计算机中的存储方式一般分为四种模式:全彩色、色盘、灰度以及黑白模式。其中，全彩色模式更接近事物的真实颜色，同时也就意味着其包含数据量最大，这在图像处理过程中不太常用；色盘模式利用8、4或者1位二进制表示，其取像素值实际上是一个查询过程;灰度模式是前两者的一个综合。
图2- 1 QQ图像数据的显示
图像处理的常用方法[16]有以下5种：
（1）图像变换
由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，往往采用各种图像变换的方法，如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理（如傅立叶变换可在频域中进行数字滤波处理）。
目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性，它在图像处理中也有着广泛而有效的应用。
（2）图像的增强
图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。通常采用灰度直方图修改技术进行图像增强。
图像的灰度直方图是表示一幅图像灰度分布情况的统计特性图表，与对比度紧密相连。如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成具有均匀灰度概率分布的新图像，使图像清晰。
（3）图像的平滑
图像的平滑处理即图像的去噪声处理，主要是为了去除实际成像过程中，因成像设备和环境所造成的图像失真，提取有用信息。
实际获得的图像在形成、传输、接收和处理过程中，不可避免地存在外部干扰和内部干扰，如光电转换过程中敏感元件灵敏度的不均匀性、数字化过程的量化噪声、传输过程中的误差以及人为因素等，均会使图像变质。因此，去除噪声恢复原始图像是图像处理中的一个重要内容。
（4）边缘锐化
图像边缘锐化处理主要是加强图像中的轮廓边缘和细节，形成完整的物体边界，达到将物体从图像中分离出来或将表示同一物体表面的区域检测出来的目的。锐化的作用是要使灰度反差增强，因为边缘和轮廓都位于灰度突变的地方。所以锐化算法的实现是基于微分作用。它是早期视觉理论和算法中的基本问题。
（5）图像的分割
图像分割是将图像分成若干部分，每一部分对应于某一物体表面，在进行分割时，每一部分的灰度或纹理符合某一种均匀测度度量。其本质是将像素进行分类。分类依据是像素的灰度值、颜色、频谱特性、空间特性或纹理特性等。图像分割是图像处理技术的基本方法之一，应用于诸如染色体分类、景物理解系统、机器视觉等方面。
按照不同的需要对图像进行各种意义上的分类。例如，按照图像的显示效果，可以把图像分为灰度图像、二值图像、彩色图像等；按照图像的颜色表示方式可以把图像分为RGB图像、HSV图像、索引图像等；按照图像压缩存储方法可以把图像分为BMP图像、JPEG图像、GIF图像、TIFF图像等。本文主要是对灰度图像进行融合。
2.2.1 灰度图像
灰度图像对应着一个数据矩阵（二维数据），数据元素的值表示图像在该位置上的亮度值。一般常数值0表示黑色，255表示白色，用0~255之间的数表示灰（亮）度。
在MATLAB软件中，可以使用下面的命令显示灰度图像。
clear all;
A=imread('a.png');
A1=rgb2gray(A); %将彩色图像转换为灰度图像
figure(1),imshow(A)
figure(2),imshow(A1)
图2- 2 彩色图像 图2- 3 灰度图像
表2-1给出了imshow函数各种不同的调用格式及其意义
表2- 1 图像显示函数 imshow 调用格式
| imshow 函数命令调用格式 | 命令意义 |
| imshow (I,n) | 显示灰度图像 |
| imshow（I，[low high]) | 显示灰度图像，[low high]为图像数据的值域 |
| imshow(BW) | 显示二值图像 |
| imshow(X,map) | 显示索引图像 |
| imshow(RGP) | 显示真彩图像 |
| imshow filename | 显示图形文件中的图像 |
红外图像的成像机理[2]：由于人眼不能相应0.4-0.7um波段以外的光，因此在夜间无自然可见光照射情况下，人眼看不到周围景物。长期以来，人们不断地寻求某种装置，能够将景物的自然红外辐射转换成可见光图像，从而使人的眼睛在夜间看东西就像白天一样。红外成像系统就是能实现上述转换的一种装置。它将自然景物各部分的温度差异及发射率的差异转换成电信号，再由此种特殊的电信号转换成可见光图像。这种成像转换技术，通常称为热成像技术，其装置成为热成像仪（也是热红外传感器）。它是一种二维热图像成像装置，其系统利用目标与环境之间由于温度辐射与发射率的差异所产生的热对比度不同，将红外辐射能量密度分布探测并显示出来。
红外图像的成像机理和可见光不同，它通过将红外探测器接收到的场景（包括其中的动态目标、静态目标以及背景）的红外辐射映射成灰度值，转换为红外图像，场景中某一部分的辐射强度越大，反映在图像中的这一部分的灰度值越高，也就越亮。除此之外，大气的状态（包括大气辐射、环境辐射以及辐射在传输过程中的衰减）也会对成像产生很大的影响。不同波长的红外辐射在大气中的透射率有很大的差异，大气中对几个波段具有较高的透射率。目前在讨论红外成像时，一般讨论3-5um和8-14um两个红外窗口。红外成像系统的成像工作过程如图2-4所示。
图2- 4 红外成像系统的成像工作过程
红外图像的成像特点：红外图像表征景物的红外辐射分布，主要决定于景物的发射和温度分布，其灰度波动来源于大背景辐射中的景物各个部分较弱的辐射变化。研究表明，红外图像有以下特点：
- 太阳辐射因素对红外成像具有一定的影响
白天红外效果图像优于夜间的红外图像。例如图2-5所示，图2-5（a）为某地白天的红外图像，图2-5（b）为该地夜间的红外图像。这主要是因为白天地面景物对太阳发出的红外辐射具有发射作用，由于不同质地的物体对太阳辐射的吸收和反射不同，导致物体之间发射率和温度分布的差异性较大，所以景物细节较清晰；而夜间景物主要依靠自身的温度进行热辐射，同时夜间物体之间的温度由于热平衡会趋于一致，导致物体之间发射率和温度分布的差异性较小，从而使图像细节模糊。
- 红外图像的整体灰度分布低且较集中
这一特点主要是红外探测器可探测的温度范围较广而实际景物的温度相对该探测范围较低，实际景物的温度分布差异较小，因此景物红外图像整体灰度分布低且较集中。
(a) 白天红外图像 (b) 夜间红外图像
图2- 5 某地白天与夜间的红外图像
- 红外图像的信噪比较低
这一特点主要是由于红外图像的噪声来源很多。例如，自然界中分子的热运动，使红外成像系统自身也会引入多种噪声。因此，导致红外图像的信噪比比较低。
- 红外图像的对比度较低
由于景物和周围环境存在在热交换、空气热辐射和吸收，从而导致了自然状态下景物之间的温度差别不大，红外图像中景物与背景的对比度较低。
- 红外传感器得到的相邻两帧图像之间的差别不大
这一特点主要是由于红外图像摄取帧速在25-30fp/s之间，景物表面的辐射分布基本上保持不变，这个性质为逐帧分析景物特征和对景物定位提供了保证。
红外图像与可见光图像的区别
在红外图像和可见光图像互补特征的分析与利用问题中，需要对红外图像和可见光图像进行比较分析。图2-6为同一地区可见光图像和夜间红外图像。分析与研究表明，红外图像和可见光图像主要有如下的区别：
- 红外图像和可见光图像成像原理不同。前者依据物体的温度不同或辐射率的不同进行成像，属于被动成像；后者依据物体反射率的不同进行成像，属于主动成像。
(a) 可见光图像 (b) 红外夜间图像
图2-6 同一地区可见光图像和夜间红外图像
- 红外图像和可见光图像的空间分辨率不同。由于红外波段辐射波长较可见光的长，因而红外图像的空间分辨率一般比可见光的低。
- 红外图像和可见光图像对同一景物的灰度差异较大。可见光图像的灰度与红外图像的灰度相比层次分明。例如，在红外图像中道路和河流基本显示为同一灰度，但可见光图像中表现为不同的灰度值；图中的两个田间小路在红外图像中表现为低灰度，但在可见光图像中表现为高灰度。
- 红外图像和可见光图像的纹理特征不同。可见光图像能反映出景物表面的纹理细节信息，而红外图像对景物表面的纹理信息不能很好的反映。
- 红外图像和可见光图像的边缘特征不同。可见光图像的边缘要比红外图像的边缘“陡”的多，其边缘架构也比较复杂。如图2-6中所示，可见光图像的边缘特征明显，表现为边缘相对陡峭，而红外图像的边缘相对平滑。同时，对应于同一景物，红外图像和可见光图像相比边缘存在着确实和偏移现象。
- 红外图像和可见光图像的像素间相关性不同。实际景物图像的像素之间存在着一定的相关。同一景物的红外图像相关长度要比可见光图像的相关长度长一些。这与红外图像的低频成分较多有关。
由于红外图像和可见光图像有上述的差异性，因此在进行红外图像与可见光图像的互补特征分析与利用，要充分考虑这些区别。
在图像融合中，融合规则[1][23]的选取对融合图像的质量有着重要的影响，对于多分辨率图像融合，设计与选取融合规则的理论基础是：图像经过多分辨率分解后的地盘子带表征的是图像的近似部分，而高频子带表征的是图像的细节部分；高频子带的系数值在零左右波动，绝对值越大表示该处灰度变换越激烈，即包括了诸如图像的边缘、线条以及区域的边界等重要信息。总的来说，多分辨率图像融合规则可分为两种：基于像素的融合规则和基于区域的融合规则。
（1）基于像素选取的融合规则，在将原图像分解成不同分辨率图像的基础上，选取绝对值最大的像素值(或系数)作为融合后的像素值(或系数)。这是基于在不同分辨率图像中，具有较大值的像素(或系数)包含更多的图像信息。
（2)考虑分解层内各图像(若存在多个图像)及分解层间的相关性的像素选取融合规则。在应用小波变换进行图像融合时，根据人类视觉系统对局部对比度敏感的特性，采用了基于对比度的像素选取融合规则。
（3）基于像素的融合选取仅是以单个像素作为融合对象，它并未考虑图像相邻像素间的相关性，因此融合结果不是很理想。考虑图像相邻像素间的相关性，出现了基于区域特性选择的加权平均融合规则，将像素值(或系数)的融合选取与其所在的局部区域联系起来。
（4）在选取窗口区域中较大的像素值(或系数)作为融合后像素值(或系数)的同时，还考虑了窗口区域像素(或系数)的相关性，通过计算输入原图像相应窗口区域中像素绝对值相比较大的个数，决定融合像素的选取。基于窗口区域的融合规则由于考虑相邻像素的相关性，因此减少了融合像素的错误选取，融合效果得到提高。
（5）基于区域的融合规则，将图像中每个像素均看作区域或边缘的一部分，并用区域和边界等图像信息来指导融合选取。采用这种融合规则所得到的融合效果较好，但此规则相对其他融合规则要复杂。对于复杂的图像，此规则不易于实现。
图像融合方法[24]是不对参加融合的各源图像进行任何图像变换或分解，直接以原图像为研究对象，运用各种融合规则进行图像融合，也可以称作简单的多传感器图像融合方法。该方法是早期的图像融合方法，由于其原理简单易懂，计算量小，也是目前应用最多的图像融合方法，同时在多尺度分解的图像融合方法中的一些尺度上其融合规则往往借鉴简单的图像融合方法。它的基本原理是直接对各源图中的各对应像素分别进行灰度选大、灰度选小、灰度加权平均等简单处理后融合成一幅新的图像。图3-1描绘出了基于像素的图像融合方法。
图 3- 1 基于像素的融合规则
以两幅图像融合为例说明图像融合过程及融合方法。对于三个或多个源图像融合的情形，可以类推。设参加融合的两个原图像分别为A、B，图像大小为M×N，经融合后得到的融合图像为F，那么对A 、B 两个源图像的像素灰度值选大图像融合方法可表示为：
（3-1）
式中：m 图像中像素的行号，n=1,2,…,m;
n 图像中像素的列号，n=1,2,…,n;
即在融合处理时，比较原图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值大的像素（可能来自图像A或B）作为融合图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合的原图像中灰度值大的像素作为融后的像素，对参加融合的像素进行灰度增强，因此该融合方法的实用场合非常有限。
基于像素的灰度值选小图像融合方法可表示为：
（3-2）
式中：m 图像中像素的行号，n=1,2,…,m;
n 图像中像素的列号，n=1,2,…,n;
即在融合处理时，比较原图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值小的像素（可能来自图像A 或B）作为融合图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合地原图像中灰度值小的像素作为融合后的像素，与像素灰度值选大融合方法一样，该融合方法的实用场合也很有限。
3.2.3 对应像素取平均值融合方法
基于对应像素取平均值的图像融合方法可表示为：
（3-3）
式中：m 图像中像素的行号，n=1,2,…,m;
n 图像中像素的列号，n=1,2,…,n;
即在融合处理时，将图像A和B中对应位置（m,n)处像素的灰度值相加，取灰度值的平均值作为融合图像F在位置（m,n)出的像素。这种融合方法相对简单，融合后的图像可靠性不高。
加权平均融合过程可以表示为：
（3-4）
式中：m 图像中像素的行号，n=1,2,…,m;
n 图像中像素的列号，n=1,2,…,n;
加权系数1；
加权系数2； 通常，
。
图像灰度值的平均可看作灰度值加权的特例（
）。多数情况下，这种加权平均融合的方法中，参加融合的图像提供的冗余信息，通过这种融合可以提高检测的可靠性。
区域能量是指以图像A和B中对应位置（m,n)处像素的灰度值为中心，将图像矩阵分割成为很多小的矩阵（本文中分割为3×3的矩阵）
和
，再将分割后的矩阵求其元素的平方和（
）。 （3-5）
区域能量取大的图像融合：
（3-6）
区域能量取小的图像融合：
（3-7）
其中，X 表示大小为 M×N 的区域，X(i,j)表示区域 X 中像素点(i,j)的灰度值，X 表示区域。
基于区域能量融合后的图像包含更多的图像信息。
图 3- 2 基于区域的融合示意图
一般地，图像对比度C定义为：
（3-8）
式(3-8)中，L表示图像局部亮度（即局部灰度），LB表示图像的局部背景亮度（相当于局部低频分量），则
相当于局部高频分量。基于图像对比度的概念，定义图像中各像素的清晰度如下:
（3-9）
式中，N(x,y)为以像素(x,y)为中心定义的矩形窗口(一般较小，本文为3x3像素)。
越大，说明原图像I中像素(x,y)所在局部区域对比度越大，清晰度越高。
根据各像素的清晰度量测，可以近似确定哪些像素是属于图像中的清晰度域，哪些像素是属于图像中的模糊区域，融合过程就是图像中属于清晰区域的像素的图像变换系数进行组合。基于区域对比度比较的融合图像过程定义如下:
（3-10）
（3-11）
考虑到相邻像素的相关性，以下情况出现的可能性较小:组合后某图像变换系数来自于图像IA变换后的系数而其相邻像素组合后的系数大多数来自于图像IB变换后的系数，反之亦然，所以要对组合后的图像变换系数进行一致性检验以保证某像素组合后的图像变换系数与其相邻像素组合后的系数大多数来自于同一幅图像经图像变换后的系数。人眼的视觉系统，对于图像的对比度变化十分敏感，而且，根据生理学研究成果，对于黑白图像，人眼视觉系统实际上是对图像的局部对比度敏感，局部对比度的变化反映了图像内各个对象的差异。同时，对比度的定义包含了图像的高频信息及其相对于背景的强度。鉴于此，采用基于对比度的判据可以获得更加符合生理视觉的效果。
到目前为止，本文已经讨论了若干种图像像素级融合的方法，每一种图像融合方法又可以采用多种不同的融合规则及其融合算子进行融合处理。图像融合效果的评价问题是一项重要而有意义的工作，如何评价融合效果即如何评价融合图像的质量，是图像融合的一个重要步骤，目前的融合效果评价中，主要有主观评价法和客观评价法。
融合图像的主观评价是以人为观察者，对图像的优劣做出主观定性的评价。这种方法在一些特定的应用中还是十分可行的，比如用于判断融合图像是否配准、亮度和反差是否合适、图像边缘是否清晰等。这种方法的主观性比较强。由于主观评定方法不全面，带有一定片面性，具有不确定性和不全面性，而且也经不起重复检查，因为当观测条件发生变换时，评定的结果有可能产生差异。主观评定法具有简单、直观的结果有可能产生差异。主观评定法具有简单、直观的优点，对明显的图像信息可以进行快捷、方便的评价。通过对图像上的田地边界、道路、居民地轮廓、机场跑道边缘的比较，可直观地得到图像在空间分解力、清
图4- 1 人的视觉系统的多频率通道
晰度等方面的差异。所以当融合图像之间差异比较明显时，主观评定方法可以快速地得出准确的评判结果，而当融合图像之间的差异较小时，主观评定方法则往往不能给出一个准确的判定，因此出现了一些不受人为影响的客观评价方法。
表4-1给出了国际上规定图像评价的5级质量尺度和妨碍尺度。
表 4- 1 主观评价尺度评分表
| 分数 | 质量尺度 | 妨碍尺度 |
| 1 | 很好 | 丝毫看不出图像质量变坏 |
| 2 | 较好 | 能看出图像质量变坏，但并不妨碍观看 |
| 3 | 一般 | 清楚看到图像质量变坏，对观看稍有妨碍 |
| 4 | 差 | 对观看有妨碍 |
| 5 | 很差 | 非常严重地妨碍观看 |
此外人在观察图像中景物时注视点的分布有以下特点：
(1) 注视点往往会集中在图像黑白交界的部分尤其集中在拐角处；
(2) 注视点容易向闭合图形内侧移动；
(3) 注视点容易集中在时隐时现运动变化的部分；
(4) 图像中若有一些特别不规则处也是注视点容易集中的地方。
通常采用的客观评价法主要分为三大类：
1)只需要通过计算单幅图像(源图像和融合图像)的熵、平均梯度、标准差等来评价图像融合前后的变化、融合图像的质量好坏和融合方法的优劣；
2) 通过计算融合图像与标准参考图像的相互关系来评判，主要有计算融合图像的均方根误差、信噪比和峰值信噪比等。但在实际应用中很难得到标准参考图像，所以这类方法在实际应用中很难实现；
3) 根据融合图像与源图像关系来评定的方法，目前主要是通过计算它们之间的联合熵、偏差与相对偏差、交互信息量等参数来评价融合效果。
在说明客观评价法之前先假设一些基本参数。设经过严格配准的源图像为A和B，其图像函数分别为A(x,y)、B(x,y)。图像A和B具有相同的灰度级(假设都是256级灰度图像)，设图像的总的灰度级为L。由源图像经过融合得到的融合图像为F，其图像函数为F(x,y)。所有图像的大小都是一样的。设图像的行数和列数分别为 M和N，则图像的大小为M×N。
下面详细介绍图像的客观评价法[24-27]：
1.信息熵E
图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值的大小表示图像所包含的平均信息量的多少。对于一幅单独的图像，可以认为其各像素的灰度值是相互独立的样本，则这幅图像的灰度分布为
。
为灰度值等于i的像素数与图像总像素数之比，L为图像的总的灰度级。融合前后的图像的信息量必然会发生变化，计算信息熵可以客观地评价图像在融合前后信息量的变化。根据Shannon信息论的原理，一幅图像的信息熵为:
（4-1）
式中：H ―― 表示像素的熵
L ―― 表示图像的总的灰度级数
―― 表示灰度值为i 的像素数
与图像总像素N 之比
可以从图像的灰度直方图中计算得到，L为图像的总灰度级。如果融合图像的熵越大，可以认为融合图像的信息量增加，融合图像所含的信息越丰富，融合质量越好。
2. 平均梯度
平均梯度可敏感地反映图像对微小细节反差表达的能力，可用来评价图像的清晰程度，同时还反映出图像中微小细节反差和纹理变换特征。设F是大小为M×N的图像，F在位置(i,j)处的灰度值为F(i,j)，平均梯度计算方法如下：
(4-2）
通常，
越大，图像层次越多，表示图像越清晰。因此可以用来评价融合图像在微小细节表达能力上的差异。
3. 标准差
标准差反映了图像灰度相对于灰度平均值的离散情况，在某种程度上，标准差也可用来评价图像反差的大小。若标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息。标准差定义为：
(4-3)
式中μ是图像的均值，F(i,j)是图像F在(i,j)处的灰度值，图像大小为M×N。
4. 空间频率
空间频率反映了一幅图像空间域的总体活跃程度，空间频率越大，图像越清晰。其公式为：
(4-4)
式中：RF为图像的行频率，CF为图像的列频率，且
(4-5)
(4-6)
5. 互信息量（也称相关熵）
互信息量也是信息论中的一个重要概念。互信息量越大，说明融合图像从原始图像中提取的信息越多，融合效果越好。图像A，B，F间的互信息量
定义如下：
(4-7)
式中
为待融合图像
，
之间的联合灰度分布，
为待融合图像
，
和融合图像
三幅图像之间的联合灰度分布。
6. 交叉熵（也称相对熵）
交叉熵可以用来度量两幅图像间的差异，交叉熵越小，说明融合图像与标准参考图像间的差异越小，融合效果越好。两幅源图像与融合图像的交叉熵定义为：
(4-8)
(4-9)
综合考虑
和
，将两幅源图像和融合后图像的综合差异用平均交叉熵
和均方根交叉熵
表示：
(4-10)
(4-11)
7. 边缘保持度（QAB/F）
QAB/F指标将边缘信息作为图像重要信息的具体描述，通过衡量源图像向融合图像传递边缘信息的多少来评价融合性能。QAB/F评价过程如下：首先对源图像和融合图像进行边缘提取；其次计算各源图像与融合图像之间的边缘保持度；最后将加权的边缘保持度作为最终的定量评价指标。QAB/F指标越大说明融合图像保留的源图像边缘信息越多，融合性能越好。表达式为：
(4-12)
其中，
和
是相应像素的权重，
和
是输入图像和融合图像的相似性度量。
8.偏差D 与相对偏差RD
偏差D 是指融合图像F 像素灰度平均值与源图像A 像素灰度平均值之差，也可以说是融合图像与源图像的差值图像的灰度平均值表。表达式为：
（4-13）
它也被称为图像光谱扭曲值，反映融合图像和源图像在光谱信息上的差异大小和光谱特征变化的平均程度，值越小表明差异越小，理想的情况下，D=0。此外，在多传感器图像应用中，还可以用它来反映每一个地物覆盖类型融合后的光谱变异程度。
综合考虑融合图像F 与源图像A、B的偏差
，可以取：
（4-14）
相对偏差RD 是融合图像各个象素灰度值与源图像相应像素灰度值绝对值差绝对值同源图像相应像素灰度之比的平均值，其表达式为：
（4-15）
相对偏差值的大小表示融合图像与源图像平均灰度值的相对差异，用来反映融合图像与源图像在光谱信息上的匹配程度和将源高分辨率图像的细节传递给融合
图像的能力。
综合考虑融合图像F 与源图像A、B的偏差
，可以取：
（4-16）
以上我们介绍了评价图像融合质量的8常用指标。它们是从不同的侧面刻画图像融合后的效果。实际的评价融合图像质量应用中，我们并不是采用以上列出的每项指标，而是根据实际情况，引用几个能反映融合图像具体情况的指标来刻画融合后图像的质量。同时有了这些指标，我们可以定量的评价各融合方法以及融合技术比（如采用那种图像分解技术，图像分解层数）对融合效果的影响。具体到每个指标，其融合图像质量的评价准则如下：
1.融合图像的熵越大，可以认为融合图像的信息量增加，融合图像所含的信息越丰富，融合质量越好；
2.一般来说，平均梯度
越大，层次越多，表示图像越清晰；
3.交叉熵可用来度量两幅图像间地差异，交叉熵越小，表示图像间地差异越小；
4.联合熵UE的值越大，则图像所包含的信息越丰富，因此可以用它来评价融合图像信息增加程度；
5.标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息，标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息；
6.QAB/F指标越大说明融合图像保留的源图像边缘信息越多，融合性能越好。
Matlab[17-21]是图像处理的一项重要工具，其封装了一系列算法函数，提高了图像处理速度和效率。因此，本文图像处理过程中，使用Matlab工具箱进行进行图像融合。
本文共使用一组可见光与红外图像，分别通过对应像素取大值和取小值、对应像素取平均值和加权平均值、基于区域的能量和对比度融合方法实现图像融合，其实验结果如下，并且根据上一节的评价方法对融合图像进行了客观的融合质量评价，详见表5-1。
1.对应像素取最大值和取小值
1)对应像素取大值：
MATLAB仿真程序：
clear all;
A=imread('p.jpg'); %读取灰度图像
B=imread('q.jpg'); %读取红外图像
A1=double(A);B2=double(B); %将图像转换为double类型
[x,y]=size(A);
for i=1:x
for j=1:y
if A(i,j)>B(i,j)
C(i,j)=A(i,j);
else C(i,j)=B(i,j);
end
end
end
subplot(2,2,1);imshow(A);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(B);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素取大值融合后图像')
融合结果：
|
|
图 5- 1 对应像素取最大值融合后的图像
2)对应像素取小值：
clear all;
A=imread('p.jpg'); %读取灰度图像
B=imread('q.jpg'); %读取红外图像
A1=double(A);B2=double(B); %将图像转换为double类型
[x,y]=size(A);
for i=1:x
for j=1:y
if A1(i,j)>B2(i,j)
C(i,j)=B(i,j);
else C(i,j)=A(i,j);
end
end
end
subplot(2,2,1);imshow(A);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(B);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素取小值融合后图像')
融合结果：
图 5- 2 对应像素取最小值融合后的图像
2.对应像素取平均值
MATLAB仿真程序：
clear all;
A=imread('p.jpg');
B=imread('q.jpg');
K=imadd(A,B,'double'); %将两幅图像转换为double型，再相加
C1=imdivide(K,2);
C=uint8(C1);
subplot(2,2,1);imshow(A);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(B);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[]);
xlabel('c)对应像素取平均值融合后图像')
融合结果：
图 5- 3 对应像素取平均值融合后的图像
3.对应像素取加权平均值
MATLAB仿真程序：
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=immultiply(L1,0.3);
B=immultiply(L2,0.7);
C1=imadd(A,B); %将两幅图像转换为double型，再相加
C=uint8(C1);
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)对应像素加权平均融合后图像')
融合图像结果：
图 5- 4 对应像素加权平均融合后的图像
4.基于区域能量比较的融合
1)区域能量取大的融合：
MATLAB仿真程序：
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=L1.^2;B=L2.^2;
[x,y]=size(P1);
C=P1;
for m=2:x-1
for n=2:y-1
a=m-1;b=m+1;c=n-1;d=n+1;
if sum(sum(A([a:b],[c:d])))>sum(sum(B([a:b],[c:d])));
C(m,n)=P1(m,n);
else C(m,n)=P2(m,n);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)基于区域能量取大融合后图像')
融合结果：
图 5- 5 基于区域能量取大融合后的图像
- 区域能量取小的融合：
MATLAB仿真程序：
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
L1=double(P1);L2=double(P2); %将图像转换为double类型
A=L1.^2;B=L2.^2;
[x,y]=size(P1);
C=P1;
for m=2:x-1
for n=2:y-1
a=m-1;b=m+1;c=n-1;d=n+1;
if sum(sum(A([a:b],[c:d])))<sum(sum(B([a:b],[c:d])));
C(m,n)=P1(m,n);
else C(m,n)=P2(m,n);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(C,[])
xlabel('c)基于区域能量取小融合后图像')
图 5- 6 基于区域能量取小融合后的图像
5.基于区域对比度比较的融合
MATLAB仿真程序：
clear all;
P1=imread('p.jpg'); %读取灰度图像
P2=imread('q.jpg'); %读取红外图像
A=double(P1);B=double(P2); %将图像转换为double类型
[x,y]=size(P1);
C1=A;C2=B;
for m1=2:x-1
for n1=2:y-1
a=m1-1;b=m1+1;c=n1-1;d=n1+1;
C1(m1,n1)=mean(mean(A([a:b],[c:d]))); C2(m1,n1)=mean(mean(B([a:b],[c:d])));
end
end
D1=minus(A,C1);D2=minus(B,C2); %A-C1
E1=rdivide(D1,C1);E2=rdivide(D2,C2);
F=A;
for m1=2:x-1
for n1=2:y-1
a=m1-1;b=m1+1;c=n1-1;d=n1+1;
if mean(mean(E1([a:b],[c:d])))>mean(mean(E2([a:b],[c:d])))
F(m1,n1)=P1(m1,n1);
else F(m1,n1)=P2(m1,n1);
end
end
end
subplot(2,2,1);imshow(P1);
xlabel('a)可见光图像')
subplot(2,2,2);imshow(P2);
xlabel('b)红外图像')
subplot(2,2,3);imshow(F,[])
xlabel('c)基于区域对比度取大融合后图像')
融合结果：
图 5- 7 基于区域对比度融合后的图像
- 下表列出了不同融合方法所得到的图像的评价结果
表 5- 1 融合结果图像评价
| 图像融合方法 | 评价标准 | |||
| 信息熵E | 标准差std | 平均梯度
| 空间频率 | |
| 对应像素取最大值 | 6.6948 | 29.5083 | 4.2927 | 9.1607 |
| 对应像素取最小值 | 6.5223 | 23.8603 | 4.3085 | 8.4296 |
| 图像融合方法 | 评价标准 | |||
| 信息熵E | 标准差std | 平均梯度
| 空间频率 | |
| 对应像素取平均值 | 6.2178 | 22.2666 | 3.2953 | 6.4550 |
| 对应像素加权平均 | 6.2819 | 21.4988 | 3.3771 | 6.6744 |
| 基于区域能量取大 | 6.7375 | 29.9311 | 4.6958 | 11.4168 |
| 基于区域能量取小 | 6.5445 | 24.3389 | 4.5668 | 9.5732 |
| 基于区域对比度 | 1.8530e-04 | 33.9577 | 16.2664 | 36.5167 |
由融合结果图像和上表可以看出基于区域能量的融合方法优于对应像素的融合方法。基于区域能量取大的融合方法所得到的图像质量最好，信息熵、标准差、平均梯度、空间频率的值最大，融合图像所含的信息丰富，图像清晰。
对应像素融合的方法中，对应像素取平均值的方法融合的结果图像质量最差，包含的信息不够丰富，图像模糊。对应像素取加权平均值的方法标准差最小，色调单一均匀，看不出太多的信息。像素值取大和像素值取小法所得到的融合图像，它们对图像的整体把握不好，要么图像整体暗淡，要么整体就偏亮，且边缘信息比较模糊，对比度较低。
基于区域对比度的融合方法所得到的图像模糊，信息熵小，分析编写程序和算法可能是在计算过程中灰度值超出了0~255的范围，也可能是计算的高频分量值过小，对比度值异常过大，接近于无穷大，导致了图像局部偏亮或者局部暗淡，融合图像质量不够好。
将以上实验结果中的融合图像与原可见光图像和红外图像作对比，不难看出，融合结果图像既有可见光图像中的边缘特征，同时也反映了红外图像中目标物体或者场景的温度分布信息，实现了可将光图像特点与红外图像特征的有效结合，能更全面并且准确地表达目标物体或者场景所包含的信息，能够很好地实现目标识别和监测等实际应用。
由于可见光图像是成像传感器在可见光波段对目标场景成像而得，凭借物体对可见光波段的反射具有较强的反差特性，可见光图像能够很好地描绘场景中各个物体的外形结构，具有较好的轮廓表现力，反映了人眼视觉信息。而红外图像是红外传感器对目标场景成像而得，其原理是绝对零度以上的任何物体都向外辐射红外线，虽然红外图像对物体的边缘表现力不足，但是它直接反映了物体表面的红外辐射情况，进一步说明了场景中所有实物的表面温度分布情况，而这个信息往往具有监测、识别等功能。
图像融合是指综合两个和多个源图像的信息，以获取对同一场景或同一目标的更为精确、更为全面、更为可靠的图像。融合后的图像应该更符合人或者机器的视觉特性，更有利于对源图像的进一步分析、理解以及目标检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。
本文的研究内容主要是基于像素级图像的融合方法。涉及图像融合的概念、图像融合的目的和意义、图像融合的应用、图像融合的常用方法及评价标准。通过利用Matlab图像处理软件，对可见光和红外图像进行图像融合仿真实验，并对融合质量进行了客观的评价。
本文的主要工作：
1.介绍了图像融合技术的研究背景，描述了图像融合的基本概念、层次、应用及国内外研究动态，阐述了对融合方法性能及融合图像效果进行主、客观评价评测方法。
2.重点介绍了像素级图像融合技术。对应像素取最大值、对应像素取最小值、对应像素取平均值、对应像素取加权平均值以及基于区域能量的融合方法、基于区域对比度比较的融合方法。
3.通过利用Matlab图像处理软件，对可见光和红外图像进行图像融合仿真实验，实现了所介绍的几种融合方法，并对融合质量进行了客观的评价。
图像融合是一门具有深度与广度的研究课题，由于时间的限制以及个人的理论水平和实际经验的有限，本文所研究和探讨的图像融合方法尽管取得了一些成果，但仍然需要进一步的改进和完善，具体的算法也需要进一步优化。
（1）本文所采用的源图像事先己经完成图像配准，因此没有对图像配准技术进行深入的研究和实验。然而，图像配准是图像融合处理的先决条件，如何快速准确的实现图像自动配准有待进一步的研究。
（2）本文的融合系统是一个独立而纯粹的图像处理软件，若能够与硬件平台相结合，通过现场图像采集作为输入图像，进行实时的图像融合处理，将会有更重要的应用意义。
（3）本文的使用的几种方法在融合过程中都使用了图像的质量评价指标，但使用这两种指标是否能的到最佳融合效果，还没有通过实践来证明，公认的图像评价准则有待建立。
（4）本文所采用的图像融合方法只是较为简单的几种方法，对更深层次的融合方法（例如RGB-IHS变换法、Brovery 变换法、小波变换法等），还有待于继续学习和研究。
[1] 蔡毅,潘顺臣.红外技术在未来军事技术中的地位和作用.红术技术,1990,21
(3):1-7.
[2] 李俊山,杨威,红外图像处理、分析与融合[M].北京:科学出版社,2009.
[3] 陈胜哲,陈彪.红外技术在军事上的应用.光学技术,2006,32(增刊):581-583.
[4] 郭雷.图像融合.北京.电子工业出版社.2008.
[5] George,AL ampropoulos,Yifeng Li,Electro-Optical and SAR Image Fusion For
Improvements on Target Feature Estimation,Applications of Photonic Technol-
ogy SPIE Vol 4833(5),2002:214-225.
[6] Intelligence Fusion Pushed.Auiation Week and Space Technology.pp:205-211,Jan.
29.1979.
[7] Daily M.I,Farr T. and Elachi C. Geologic interpretation from composited radar
and landsat imagery,Photogrammetric Engineering and Remote Sensing,1979,45,
pp.1109-1116.
[8] Laner D.T.,Todd W.J.,Land cover mapping with merged Landsat RBV and MSS
stereoscopic images.In Proc. Of the ASP Fall Technical Conference,San Franciso,
1981,pp.680-689.
[9] Cliche G.,Bonn F.and Teillet P.Teillet, Intergration of the SPOT Pan,channel into
its multispectral mode for image sharpness enhancement, Photogrammetric
Engineering and Remote Sensing,Vol.51,pp.311-316, 1985.
[10] 童明强.红外图像与可见光图像融合的研究:[硕士学位论文].天津:天津理
工大学,2005,1-59.
[11] http://epub.cnki.net/kns/brief/default_result.aspx.
[12] 覃征,鲍夏民,李爱国,数字图像融合,西安交通大学出版社,2004.
[13] 李伟,像素级图像融合方法及应用研究,华南理工大学博士学位论文,2006.
[14] 阳方林,郭红阳,杨风暴.像素级图像融合效果的评价方法研究.测试技术学
报,2002,16(4) : 276-279.
[15] 刘从义,敬忠良,肖刚.像素级多源图像融合综述.中国科技论文在线,
2011:1-9.
[16] 陈秀新,邢素霞.图像/视频检索与图像融合.北京:机械工业出版社,
2011.12.
[17] 余成波.数字图像处理及MATLAB实现.重庆:重庆大学出版社.
[18] 张志勇.杨祖英.MATLAB教程R2012a.北京:北京航空航天大学出版社
2010.8.
[19] 张兆礼.赵春晖.梅晓丹.现代图像处理技术及Matlab实现. 北京:人民邮电
版社2001.11.
[20] 张强.王正林.精通MATLAB图像处理.第2版.北京:电子工业出版社.
2012.4.
[21] 于万波. 基于MATLAB的图像处理（第二版）北京:清华大学出版社
2011.6.
[22] 赵志强,侯玉雪.数码图像知多少(一).数码印刷,20012,(4):56-57.
[23] 李振华等,图像融合—理论与应用,高等教育出版社,2007.
[24] 胡良梅等,基于信息融合的图像理解方法研究,合肥工业大学出版社,2007.
[25] 刘峰,多源图像融合的研究[D].青岛:中国海洋大学,2005.
[26] 胡良梅,何科峰.图像融合质量评价方法的研究[J].电子学报,2004,32
（12A):218-221.
[27] 邢素霞.基于视觉特性的图像融合质量评价新方法[J].北京工商大学学报:
自然科学版,2010,28(1).60-63.
[28] 王海晖,彭嘉雄,吴巍,评价多传感器图像融合效果方法的比较,红外与激光
工程, 2004,33(2):189-193.
[29] 刘贵喜,杨万海,基于多尺度对比度塔的图像融合方法及性能评价,光学学
报,2001,11(11):1336-1442.
[30] 刘永坦,雷达成像技术,哈尔滨:哈尔滨工业大学出版社,1990.
附录
融合图像质量的客观评价程序：
clc,clear all;
A=imread('pepsi2.bmp');
A=double(A);
[M,N]=size(A);
temp=zeros(1,256); %对图像的灰度值在[0,255]上做统计
for m=1:M;
for n=1:N;
if A(m,n)==0;
i=1;
else
i=A(m,n)+1;
end
temp(i)=temp(i)+1;
end
end
temp=temp./(M*N);
%由熵的定义做计算
en=0;
for i=1:length(temp)
if temp(i)==0;
en=en;
else
en=en-temp(i)*log2(temp(i));
end
end
E=en %%求得信息熵
%%%开始计算spacefrequency
sum1=0;
sum2=0;
%计算行频率
for i=1:M
for j=2:N
w=A(i,j)-A(i,j-1);
sum1=sum1+w^2;
end
end
RF=sqrt(sum1/(M*N));
%计算列频率
for j=1:N
for i=2:M
w=A(i,j)-A(i-1,j);
sum2=sum2+w^2;
end
end
CF=sqrt(sum2/(M*N));
SF=sqrt(RF^2+CF^2) %空间频率
%开始求梯度
sum=0;
for i=1:M-1
for j=1:N-1
diffX(i,j)=A(i,j)-A(i+1,j);
diffY(i,j)=A(i,j)-A(i,j+1);
w=sqrt(((diffX(i,j))^2+(diffY(i,j))^2)/2);
sum=sum+w;
end
end
AVEGRAD=sum/((M-1)*(N-1))
E=entropy(A) %融合后图像的信息熵
std=std2(A) %标准差
5493
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
