基于MATLAB的图像融合算法

最新推荐文章于 2024-02-28 09:29:10 发布

程序员小溪

最新推荐文章于 2024-02-28 09:29:10 发布

阅读量1.5k

点赞数 17

文章标签：计算机视觉图像处理人工智能 MATLAB matlab 算法

本文链接：https://blog.csdn.net/GGMMM123/article/details/135490602

版权

基于MATLAB的图像融合算法

摘要

图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。

图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。

本论文的主要的研究内容有：

首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。

关键词：图像配准；图像融合；空域融合法；小波变换；评价标准

第一章 绪论

1.1 图像融合的概念

1.2图像融合的主要研究内容

1.2.1 图像融合的层次

1.2.2 图像融合算法的发展

1.2.3图像融合的步骤

1.3 图像融合技术的发展现状

2.3.3 基于图像特征的匹配算法

第三章 图像融合

3.1 加权平均融合法

3.2 像素灰度值选大/小融合方法

3.3 主分量融合法

3.4 IHS变换法

3.5 小波变换融合法

3.5.1 小波的定义及特点

3.5.2 基于小波变换的图像融合方法原理

3.5.3 图像融合规则及融合因子

第一章绪论

图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分支—可视信息的融合，近20年来，引起了世界范围内的广泛关注和研究热潮。图像融合就是通过多幅图像冗余数据互补得到一幅新的图像，在这幅图像中能反应多重原始图像中的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位，对于国防安全和经济建设具有十分重要的战略意义。

图像融合的方法与具体的处理对象类型、处理等级有关。这主要是各类图像的解析度不同、表现的内容不同，相应的处理方法也要根据具体情况而定。

本章首先介绍了多传感器图像融合的基础理论及发展现状，在此基础上介绍了像素级图像融合方法的原理及应用，最后，给出论文的内容安排。

1.1 图像融合的概念

图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互补性、时间优越性及相对低成本性等)，在技术先进国家受到高度重视并己取得相当的进展。

图像融合的形式大致可分为以下3种：

(l)多传感器不同时获取的图像的融合；

(2)多传感器同时获取的图像的融合；

(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。

图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。以两个传感器A、B为例，其信息构成的示意图如图1-1所示。

图1-1 多源图像的信息构成

通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。

目前，将图像融合技术应用于数字图像处理的主要目的有以下几种:

(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性;

(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息;

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;

(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影，测量等;

(5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。

显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。

1.2图像融合的主要研究内容

1.2.1 图像融合的层次

图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同，使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同，所采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位置与层次。

图1-2 三个不同层次上的多源图像融合示意图

(1)像素级图像融

像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级的基础，但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。

像素级图像融合通常用于:多源图像复合、图像分析和理解。

图1-3 像素级数据融合原理示意图

(2)特征级图像融合

特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。

图1-4 特征级数据融合原理示意图

(3)决策级图像融合

决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多。

图1-5 决策级融合原理示意图

图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层次不仅能够独立进行，而且它们有着密切相关性，还可以作为一个整体同时进行分层次融合，前一级的融合结果可作为后一级的输入。

1.2.2 图像融合算法的发展

对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主要有IHS(明度-色度-饱和度:Intensity-Hue-saturation)变换、平均、加权平均、差分及比率、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。

到80年代中期，人们又提出了基于金字塔的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并开始将图像融合技术应用于一般图像(可见光图像、红外图像、多聚焦图像、遥感图像等)的处理。90年代，随着小波理论的发展与广泛应用，小波变换技术为图像融合提供了新的工具，使图像融合技术的研究呈不断上升趋势，应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人导航、决策支持系统、大型经济信息、医学图像处理等。

1.2.3图像融合的步骤

对于某个具体的图像融合系统而言，它所接受的信息可以是单一层次上的信息，也可以是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合，从而获得更高层次的融合后的信息，然后再进行相应层次的融合。因此，图像融合本质上是一个由低(层)至高(层)对多源信息融合、逐层抽象的信息处理过程。

一般情况下，由于各个成像传感器所在的平台各异，且成像模式不同，同时还会受到各种环境因素的影响，对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污染等问题，因此，多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后，接下来就是根据具体的应用目的不同，采用不同的融合算法对多个源图像在不同的层次上进行融合处理，同时还要对融合结果进行质量评价，形成具有反馈的系统，从而有利于选择最为合适的融合方式以得到最优的融合结果。最后，将得到的融合结果应用于各种不同的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度最大的融合，因而本论文重点对它进行探讨和研究。

图1-6 图像融合一般步骤

1.3 图像融合技术的发展现状

1979年，Daily等人[9]首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。到80年代中后期，图像融合技术逐渐开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有IHS变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。

到80年代末，人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图像等)。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器(多源)图像融合技术己成为计算机视觉、自动目标识别、机器人、军