本文研究了红外和可见光图像融合算法，通过MATLAB软件实现像素级融合，包括取最大值、取最小值、平均值以及基于区域能量和对比度的融合方法。实验结果表明，基于区域能量的融合方法能提供最佳图像质量，增强了图像的轮廓信息和温度分布。图像融合技术旨在结合不同传感器的互补信息，提高图像的可靠性和清晰度，适用于目标检测和识别等应用。
红外和可见光图像融合算法研究
摘 要
红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。而通过图像融合是实现这一效果的有效方法，融合后的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及对源图像的进一步分析、理解以及目标检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。
本文针对红外和可见光图像融合算法进行了研究。通过使用计算机图像处理方法，对同一场景的红外图像和可见光图像进行融合处理，得到一副单一的融合图像，它成功包含了两副源图像的信息。本文主要研究了利用MATLAB软件实现对红外和可见光图像的处理和融合，采用对应像素取大值、取小值、平均值，区域能量、区域对比度比较的融合方法，并且对融合结果图像使用信息熵、标准
差、平均梯度、空间频率的评价指标进行了分析比较。结果表明，融合结果图像
既保留了可见光图像的清晰的轮廓信息，同时也显示了目标物体的表面温度分布情况。
关键字：图像融合，红外图像，可见光图像，MATLAB软件
ABSTRACT
Infrared technology, a new modern tool to be used for human beings to research and explore nature, has been widely applied to many fields which include biology, medicine, geoscience and military reconnaissance in different countries.Infrared image reflects the temperature distribution of objects in the scene. However, the target infrared radiation is very complex, and there are many factors which affect the target infrared radiation, thus Infrared thermal image clarity is much less than the visual image.A visual image can describes the shape of all the objects in the scene and has good ability to represent objects' outline.Therefor,the integration of Infrared image and visual image have very good results.In addition,to fuse them into a single image is very useful to achieve this goal .Fused images are more reliable,less vague and more understandable, which should be convenient for the following image analysis, recognizing, target detecting and tracing.It takes full advantage of redundant or complementary information from source pictures, and not be identical to common image enhancement. It is a new technology in the area of computer vision and image comprehension.
This thesis is aimed at studying a fused method about Infrared image and visual image.Through computer image processing methods ,fusing the visual image and infrared image about a same scene into a single image to display both images1 information.This paper is focusing on using MATLAB software to achieve the integration of Infrared image and visual image.Moreover,using maximal or minimal pixel selection , pixel average, Regional energy, Regional Contrast ,The fusion image using information entropy, standard deviation,average gradient, spatial frequency evaluation index analysis.The results show that it not only remains the shape information of the visual image, but also displays the temperature distribution of objects from the infrared image.
KEYWORDS：image fusion,infrared image, visual image, MATLAB software
目录
二十一世纪是一个快速发展的科技信息时代，科学技术的发展日新月异，单一的可见光模式逐渐发展成多种传感器模式，传感器的应用已经渗入到许多领域，尤其以成像传感器最为人们所熟悉，人们对图像质量也提出了更高的要求。在日常生活中，普遍采用硬件更新换代来实现品质的提高，但是，在实际的工程应用中，只是硬件的更换往往还不足以实现工程需求。各种传感器具有不同的成像机理、不同的波长范围、不同的工作环境与要求，完成不同的功能。由于单一的传感器获取的信息量有限，往往难以满足实际需求。利用多源数据可以提供对观测目标更加可靠的观察，因此，为了充分利用越来越复杂的多源数据，各种数据融合技术快速发展起来，目的是将多传感器获得的更多信息合并到一个新的数据集中。所以，可通过对得到的图像进行加工和处理来达到预定目标，这个过程即是图像处理技术。计算机软件技术和数学算法正是这项技术的基础，也是其重点。图像处理技术是一门内容十分丰富的学科，在其发展过程中，已经被分成了多个学科分支，收到诸多学者和研究人员的青睐和重视。
图像传感器种类繁多，表1-1列出了常用图像传感器及其性能特点。
表1-1常用图像传感器及其性能特点
| 传感器类型 |
主要特点 |
| 可见光 |
可获得丰富的对比度、颜色和形状信息 |
| 微光夜视仪 |
夜视，探测距离一般在800-1000米 |
| 红外热像仪 |
昼夜两用，探测距离一般在几千米到十几千米；波段为3-5um(中红外波段)，8-12um(长红外波段) |
| 激光成像雷达 |
兼有测距、测速和成像三种功能，成像距离3-5千米，探测分辨能力强，能够探测出架空电缆之类细小物体 |
| 传感器类型 |
主要特点 |
| 毫米波雷达 |
天候特性优于可见光及红外，抗干扰能力强，分辨率较高 |
| SAR |
天线尺寸小，成像分辨率高，全天时，全天候，对土壤和水有一定的穿透力 |
| 多光谱/超光谱成像仪 |
多个光谱谱段同时、精确测量目标；可用于地形测绘、监听和分析等 |
| 多模态医学成像仪 |
计算机断层扫描(CT)可提供骨组织信息，核磁共振(MR)可提供软组织及脉管信息 |
红外技术[1-2]是20世纪发展起来的新兴应用技术。近50年来，世界各国争相发展利用红外线探测目标的技术，并将之应用于军事领域。近年来一些国家将其大规模推向民用领域。在军事上[3]，红外探测用于制导、火控跟踪、警戒、目标侦察、武器热瞄准器、舰船导航、空降导航等。在准军事领域，可广泛应用于安全警戒、刑侦、森林防火和消防、大气环境检测等方面。在民用领域，广泛应用于工业设备监控、安全监视、交通管理、救灾、遥感以及医学热诊断技术等。在日常生活中，我们所见到的图像绝大部分都是可见光图像(如电视机图像、数码照相机成像等),可见光图像比较客观和真实地展现了目标(物或者景)的空间轮廓信息，可以较好的从背景环境中分离开来，有较高的对比度，这一点在图像视觉信息中显得非常重要，也是可见光图像的优势之所在。
可见光图像和红外图像都具有其固有的优势和缺陷，它们之间存在着显著的差异，而这些差异正好弥补了彼此的缺陷。可见光图像携带的准确丰富的物体空间形态信息，与人眼对目标场景的直接成像状态一致；红外图像是凭借红外探测器而获得的图像信息，而这些信息都是人眼无法直接获取的，但却表征了目标物体的表面温度分布情况，将原本不可见的特征转换为图像形式，成为人眼可以接受的视觉信息。然而，由于红外图像不能如实呈现目标的空间轮廓信息，这给观察者(或者机器视觉系统)带来一些困扰，观察者只能看到目标场景中的温度分布情况，却因为目标与环境对比不明显而无法准确无误的分辨目标物体本身。可见，可见光图像对目标的空间轮廓的完美显示正好弥补了红外图像的这一缺点，若将两者的互补信息融合在一起，那就可以同时获得目标的空间边缘信息以及表面温度分布信息。通过对可见光图像和红外图像采用图像融合处理，将两者的互补信息整合，其输出的融合图像集两者优势为一体，既展示了目标物体的空间细节情况，又将其表面温度分布细节转换为可视信息，这对观察者而言，图像更加全面的展示了目标物体所承载的信息量，使得目标物体的空间结构和局部温度分布都一目了然。
图像融合[4-6]技术是在兴起于70年代末的信息融合技术的基础上发展起来的图像处理新技术。1979年，Daliy[7]等人首先把雷达图像和Landsat-MSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。1981年，Lane和Todd[8]进行了Landsat-RBV和MSS图像数据的融合试验。到80年代中后期，图像融合技术开始引起人们的关注，陆续有人将图像融合技术应用于遥感多谱图像的分析和处理，如1985 年，Cliche和Bonn[9]将Landsat-TM的多光谱遥感图像与SPOT卫星得到的高分辨率图像进行融合，90年代以后，随着多颗遥感雷达卫星[30] JERS-1， ERS-1，Radarsat等的发射升空，图像融合技术成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。其采取的融合方法主要有IHS变换、平均、加权平均、差分及比率、PCA(主分量分析:Principal Component Analysis)，高通滤波[29]等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。自从2000年美国波音公司完成多源信息融合的实验成功实现互补信息的整合，从此，信息融合技术开始得到发展，图像融合技术作为信息融合的一个重要分支，也相继在遥感、医学治疗等领域得到重视和应用。
国内对图像融合技术研究虽然起步较晚，但已有不少研究机构和大学正在从事这一领域的研究和探讨，例如中科院遥感所、武汉测绘大学、中科院上海技术物理研究所、上海交通大学等单位。1990年10月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。图1-2为战场图像的融合。
图 1- 1 战场图像的融合
在多传感器信息融合领域中，图像融合是应用最为广泛，发表文献最多的一个方向：信息融合文章中，信号层的信息融合文章占53％；在中国知网和EI Engineering Village（美国工程索引）数据库中对图像融合的研究趋势和发表文献分别作了统计调查。在中国知网[11]的“学术趋势搜索"中用“图像融合”作为关键词，检索到如图1-2所示的1996年到2008年期间的关注趋势。
在EI Engineering Village数据库中，以image fusion作为关键词搜索到1981年到2010年EI收录的论文如图1-3所示。1981年到1985年，这方面的文献只有134篇，1996年到2000年增加到1941篇，2001到2005年增加到4209篇，2006年到2010年就有8993篇。从中可以看出，国际学术界对图像融合技术的重视程度与日俱增。
图 1- 2 2000年到2013年间图像融合的学术发展趋势
图 1- 3 图像融合的发展变化趋势
图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。图像融合示意图如图 1-4。待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信
图 1- 4 图像融合示意图
息。两幅（多幅）已配准好且像素位宽一致的待融合源图像，如果配准不好且像素位宽不一致，其融合效果不好。图像融合的主要目的是通过对多幅图像间的冗余数据的处理来提高图像的可靠性，通过对多幅图像间互补信息的处理来提高图像的清晰度。
图像融合的主要目的包括：
- 增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图
像中无法看见或看清的某些特性；
(2) 改善图像的空间分辨率，增加光谱信息的含量，为改善检测、分类、理解、识别性能获取补充的图像信息；
(3) 通过不同时刻的图像序列融合来检测场景或目标的变化情况；
(4) 通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体投影、测量等；
(5) 利用来自其他传感器的图像来替代或弥补某一传感器图像中的丢失或故障信息。
1.3.1 图像融合系统的层次划分
图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形成一幅新的图像。图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级[12]。
信号级融合：是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
像素级图像融合:结构如图1-5所示，是指直接对图像中像素点进行信息综合处理的过程像素级图像融合的日的是生成一幅包含更多信息、更清晰的图像像素级图像融合属于较低层次的融合，目前，大部分研究集中在该层次上。像素层图像融合一般要求原始图像在空间上精确配准，如果图像具有小同分辨率，在融合前需作映射处理。
特征级图像融合：结构如图1-6所示，是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度
|
|
区域、相似景深区域等在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的/场合密切相关。通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。特征级图像融合是中间层次上的融合，为决策级融合做准备。特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。特征级融合的优点在于可观的信息压缩，便于实时处理。由于特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。
|
|
决策级图像融合:结构如图1-7所示，是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果后，进行进一步的融合过程最终的决策结果是全局最优决策。决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。决策级融合的主要优点可概括为:①通信及传输要求低，这是由其数据量少决定的；②容错性高对于一个或若十个传感器的数据干扰，可以通过适当的融合力一法予以消除；③数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；④分析能力强，能全力一位有效反映目标及环境的信息，满足小同应用的需要。
|
|
图1-7 决策级图像融合
表 1-2 给出了不同多传感器图像融合层次及其性能特点的比较情况，表1-3给出了不同层次图像融合算法的特点。从表中及前面所介绍的内容可以看出，像素级图像融合是最重要、最根本的多传感器图像融合方法，其获取的信息量最多、检测性能最好、难度也最大，也是本文主要讨论的内容。
表1- 2 图像融合层次及其性能特点的比较
|
特 征 融合层次 |
像素级融合 |
特征级融合 |
决策级融合 |
| 信息量 |
最大 |
中等 |
最小 |
| 信息损失 |
最小 |
中等 |
最大 |
| 容错性 |
最差 |
中等 |
最好 |
| 让干扰性 |
最差 |
中等 |
最好 |
| 对传感器的依赖性 |
最大 |
中等 |
最小 |
| 融合方法难易 |
最难 |
中等 |
最易 |
| 分类性能 |
最好 |
中等 |
最差 |
| 系统开放性 |
最差 |
中等 |
最好 |
| 预处理 |
最小 |
中等 |
最大 |
表1- 3 不同层次图像融合算法的特点
| 特点 |
信号层图像融合 |
像素层图像融合 |
特征层图像融合 |
决策层图像融合 |
| 传感器信息类型 |
信号或者多维信号 |
多幅图像 |
从信号和图像中提取出的特征 |
用于决策的符号和系统模型 |
| 信息的表示级别 |
最低级 |
介于最低级和中级之间 |
中级 |
高级 |
| 传感器信息模型 |
含有不相关随机噪声的随机变量 |
含有多位属性 |
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
