基于MATLAB的图像融合算法
摘要
图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。
图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。
本论文的主要的研究内容有：
首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。
关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
目录
图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分支—可视信息的融合，近20年来，引起了世界范围内的广泛关注和研究热潮。图像融合就是通过多幅图像冗余数据互补得到一幅新的图像，在这幅图像中能反应多重原始图像中的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位，对于国防安全和经济建设具有十分重要的战略意义。
图像融合的方法与具体的处理对象类型、处理等级有关。这主要是各类图像的解析度不同、表现的内容不同，相应的处理方法也要根据具体情况而定。
本章首先介绍了多传感器图像融合的基础理论及发展现状，在此基础上介绍了像素级图像融合方法的原理及应用，最后，给出论文的内容安排。
图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互补性、时间优越性及相对低成本性等)，在技术先进国家受到高度重视并己取得相当的进展。
图像融合的形式大致可分为以下3种：
(l)多传感器不同时获取的图像的融合；
(2)多传感器同时获取的图像的融合；
(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。
图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。以两个传感器A、B为例，其信息构成的示意图如图1-1所示。
图1-1 多源图像的信息构成
通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。
目前，将图像融合技术应用于数字图像处理的主要目的有以下几种:
(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性;
(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息;
(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;
(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影，测量等;
(5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。
显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。
图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同，使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同，所采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位置与层次。
图1-2 三个不同层次上的多源图像融合示意图
(1)像素级图像融
像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级的基础，但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。
像素级图像融合通常用于:多源图像复合、图像分析和理解。
图1-3 像素级数据融合原理示意图
(2)特征级图像融合
特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。
图1-4 特征级数据融合原理示意图
(3)决策级图像融合
决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多。
图1-5 决策级融合原理示意图
图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层次不仅能够独立进行，而且它们有着密切相关性，还可以作为一个整体同时进行分层次融合，前一级的融合结果可作为后一级的输入。
对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主要有IHS(明度-色度-饱和度:Intensity-Hue-saturation)变换、平均、加权平均、差分及比率、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。
到80年代中期，人们又提出了基于金字塔的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并开始将图像融合技术应用于一般图像(可见光图像、红外图像、多聚焦图像、遥感图像等)的处理。90年代，随着小波理论的发展与广泛应用，小波变换技术为图像融合提供了新的工具，使图像融合技术的研究呈不断上升趋势，应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人导航、决策支持系统、大型经济信息、医学图像处理等。
对于某个具体的图像融合系统而言，它所接受的信息可以是单一层次上的信息，也可以是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合，从而获得更高层次的融合后的信息，然后再进行相应层次的融合。因此，图像融合本质上是一个由低(层)至高(层)对多源信息融合、逐层抽象的信息处理过程。
一般情况下，由于各个成像传感器所在的平台各异，且成像模式不同，同时还会受到各种环境因素的影响，对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污染等问题，因此，多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后，接下来就是根据具体的应用目的不同，采用不同的融合算法对多个源图像在不同的层次上进行融合处理，同时还要对融合结果进行质量评价，形成具有反馈的系统，从而有利于选择最为合适的融合方式以得到最优的融合结果。最后，将得到的融合结果应用于各种不同的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度最大的融合，因而本论文重点对它进行探讨和研究。
图1-6 图像融合一般步骤
1979年，Daily等人[9]首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。到80年代中后期，图像融合技术逐渐开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有IHS变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。
到80年代末，人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图像等)。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器(多源)图像融合技术己成为计算机视觉、自动目标识别、机器人、军事应用等领域的热点研究问题。
本文的研究基于MATLAB的图像融合算法。涉及图像融合前的预处理，滤波去噪和图像配准，采取手动配准获取精准的配准图像，在空域内的像素级图像融合采用简单直接的加权平均法，在频域内的小波变换融合，最后对融合结果进行评价。
图像传感器在获得原始数据的过程中存在不同的干扰，使得获在取的图像中往往存在或多或少的噪声。为了避免噪声的传播扩散，使后面图像融合的质量和性能下降，必须在融合前对源图像进行几何校正、去噪和增强处理。此外，在进行像素级融合前，还必须对源图像进行有效而精确的配准处理，以去除不同传感器的系统误差和偶然误差，这些为图像融合所做的准备统称为图像预处理。
图像校正主要分为两类：几何校正和灰度校正。
（1）几何校正
图象几何校正的思路是通过一些已知的参考点，即无失真图象的某些象素点和畸变图象相应象素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它象素的基础。
几何校正的基本方法是：首先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。具体操作通常分两步：
①对图像进行空间坐标变换；首先建立图像像点坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；
②确定各像素的灰度值（灰度内插）。
图2-1 几何校正处理过程
（2）灰度校正
根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法。通常使用的主要有三种：
(1)灰度级校正。针对图像成像不均匀如曝光不均匀，使图像半边暗半边亮，对图像逐点进行不同程度的灰度级校正,目的是使整幅图像灰度均匀。
(2)灰度变换。针对图像某一部分或整幅图像曝光不足使用灰度变换，其目的是增强图像灰度对比度。
(3)直方图修正。能够使图像具有所需要的灰度分布，从而有选择地突出所需要的图像特征，来满足人们的需要。
在图像采集、传输过程中，由于输入转换器、周围环境、电压波动等多种因素的影响，图像不可避免地含有各种各样的随机干扰信号，这些信号就是我们所讲的噪声，它们或与图像内容有关，或无关。但相同的是都会导致图像失真，使图像模糊，甚至掩盖图像的重要特征，给后续的图像分析和处理带来不利影响。
图像噪声的种类很多，分类的标准也不少。例如，按其产生的原因可分为外部噪声和内部噪声；按噪声服从的分布将其分为随机噪声（高斯噪声）和椒盐噪声；根据噪声与信号之间的关系分为加性噪声和乘性噪声等。针对不同的噪声，其去噪方法大致可分为以下两大类：
(1)空域滤波去噪是指在空间域内对图像像素的灰度值直接运算处理的方法。常用的空间滤波去噪方法主要有均值滤波、中值滤波、维纳滤波以及空间域低通滤波法，其中，维纳滤波是一种自适应的滤波方法，比一般的滤波器具有更好的选择性，可以更好地保护图像边缘，尤其对加性高斯白噪声的抑制效果很好。在此简单介绍两种空域滤波法：
(2)变换域去噪是指在图像的某种变化域内，对源图像经过变换后的系数进行相应处理，然后再进行反变换达到图像去噪目的的一种方法。常用的去噪方法主要有频率域低通滤波法和基于小波变换法，其中小波去噪的方法大致可分为基于小波变换模极大值原理、相邻尺度间小波系数相关性以及阈值法三大类。目前，基于小波变换的去噪方法尚处于不断发展的阶段，总体来说，去噪效果较好但计算非常复杂，不同的重构方法对信号重构的误差影响很大，也会影响到去噪的效果。
邻域平均法按
直接对图像作低通滤波处理。可用于消除随机相加噪声。
常用的
（低通滤波器的脉冲响应函数）有
这里的作用域为3×3，共有9个像素灰度参加运算，用运算结果代替中心像素
的像素灰度。
根据需要，可选用5×5，7×7等不同作用域的。矩阵中心的元素值占的比例越小，平滑作用越强，会使图像越模糊；
的作用域越大，平滑作用越强，亦导致图像越模糊。
原则：使矩阵的元素之和与其前面的系数相乘的结果为1，以在平滑过程中处理结果的像素灰度不超过允许的像素最大灰度值。用这种方法作平滑处理，图像四周围边缘的像素需特殊处理。
两种特殊处理办法（对3×3的情形）：
- 把原图像从M×N转化为（M+2）×（N+2），所加大的两行和两列的像素灰度均取0，然后对加大后的像素平滑处理，结果又舍去所加的两行的零灰度信息，仅取M×N。
- 不处理原始图像4个边缘的像素，使处理后4个边缘的像素灰度保持原始灰度，或人为地赋予特殊灰度。
作为抑制噪声的非线性处理方法，中值滤波是从一维信号处理的中值滤波技术发展而来的。
其原理是在图像画面中开一个一维的小窗口，它应该包含奇数个像素，按像素的灰度值从小到大排列起来，然后用中间灰度值来代替原排列的中间像素的灰度值。窗口然后从左到右移动，直到边界。窗口下移一行，再从左到右进行。经过中值滤波变换后，某象素的输出等于该象素邻域中各象素灰度的中间灰度值。其操作流程如下所示：
50，60，300，100，120，80，190，、、、
↓→→顺序排列象素灰度值50,60,100,120,300,
↓用中间灰度值100代替原中间灰度值300,
50,60,100,100,120,80,190，、、、
↓右移窗口得
50，60，100，100，120，80，190，、、、
↓→→顺序排列象素灰度值60，80，100，100，120
↓中间灰度值100与原中间灰度值100相同，不用换
50，60，100，100，120，80，190，、、、
↓右移窗口得
50，60，100，100，120，80，190，、、、
这样对图像灰度的跳跃有平滑效果。
考虑到一般图像在两维方向上均具有相关性，因此，活动窗口一般选为两维窗口（如3×3，5×5或7×7等），窗口形状常用：
图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算法就是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进行几何变换的方法。
像配准的一般过程是在多源图像数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各影像上选取少量的控制点，通过特征点的自动选取或是计算其间的相似性、粗略配准点的估计位置、精确确定配准点以及估计配准变换参数等处理，从而实现影像的精确配准。
按照配准算法所利用的图像信息，可以分为以下两类
（1）基于灰度的图像配准方法。该类方法直接利用整幅图像的灰度度量两幅图像之间的相似性，然后采用搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像之间的变换模型参数。该方法不需要对图像作特征提取，直接利用全部可用的图像灰度，提高了配准算法的估计精度和鲁棒性，但是由于匹配点周围区域的点的灰度都参与计算，因此，其计算量大，速度慢。
(2)基于图像特征的图像配准方法。将从图像灰度中提取出来的某些显著特征作为匹配基元，用于匹配的特征通常为点、线、区域等。算法过程主要分为特征提取和特征匹配。在特征匹配前，首先要从待匹配的多幅图像中提取出灰度变化明显的点、线、区域等特征，组成特征集。然后，在各幅图像所对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。对于非特征像素点利用插值等方法处理，推算出对应的匹配关系，从而实现多幅图像之间逐像素的配准。由于提取了图像的显著特征，大大压缩了信息的数据量，同时较好的保持了图像的位移、旋转、比例等方面的特征，因此，该方法在匹配时计算量小、速度快，是较为实用的方法。
按自动化程度可以分为人工、半自动和全自动三种类型 。
我们可以利用Matlab自带的图像处理工具箱来完成配准需要。图像处理工具箱（Matlab Image Processing Toolbox）提供了一套全方位的参照标准算法和图形工具，用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。
利用Matlab Image Processing Toolbox中的图像配准工具实现线性正投影、仿射、投影、多项式、分段线性、局部加权平均配准的过程。
（1）手动选择匹配点对
该工具箱提供的配准方法均需手工选择图像间的匹配点对（control points pair），均属于交互配准方法。
假设input image（输入图像）为欲进行配准的图像，base image为配准是的参考图像。以下是我参考matlab帮助给出了简介。
1．线性正投影（linear conformal）：最简单。平面映射成平面。
当输入输入图像与参考图像对比，只是存在全局的平移、旋转、缩放或其三者组合的差别时（正方形仍对应正方形），选择此配准方法。此方法至少需要2对匹配点。
2．仿射（affine）：将平行线转换成平行线。
当输入图像形状存在切变现象（正方形对应平行四边形），选此法。至少需3对匹配点。
3．投影（projective）：将直线映射成直线。
如果输入图像呈现倾斜，翘起现象，选此法。至少需4对匹配点。
4．多项式（polynomial）：将直线映射成曲线。
如果输入图像出现不规则曲变，采用此法。Matlab中提供有2、3、4次幂的实现，分别至少需要6，10，10对匹配点。
5．分段线性（piecewise linear）
如果输入图像的各个局部之间的退化模式明显不一样，选此法。至少需要4对匹配点。
6．局部加权平均（local weighted mean）
与分段线性一致，但效果较之好。至少需要6对（推荐12对）匹配点。
（2）手动配准的基本过程如下图所示：
图2-1 手动图像配准一般流程
Harris角点检测算法
角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点，它决定了目标的轮廓特征，被广泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中，这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使得实时处理成为可能。
Harris角点检测算法基本原理描述如下：建立下面矩阵M：
其中I（x，y）是亮度值，这里用灰度表示。通过分析上面矩阵可以看出如果在一点上矩阵M的两个特征值很大，则在该点向任意方向上的一个很小的移动都会引起灰度值的较大变化。这也就说明该点是一个角点。计算角点的函数如下：
（2.2）
其中k参数设为0.04（Harris设定的最优参数）。
令A=
，B=
，C=
，D=
则矩阵
表示图像I在x方向的导数，
表示图像在y方向的导数。求出R的值，若为正则对应点为角点，若为负则是一般边界点。
该算法易受噪声的影响。为了减小噪声的干扰，在对图像进行偏导计算以后用高斯滤波器对数据进行平滑。按此方法求出的角点数量很多。为了减少匹配计算量，可以对想要获得的角点数量进行限制。限制方法是确定一个阈值，仅仅选取R值大于这个阈值的点作为角点。这个阈值根据需要的检点数量来确定。
常用的像素级图像融合方法有：
(l)空域融合方法:①加权平均法；②像素灰度值取大/小法；③主分量法(PCA)。
(2)变换域融合方法:①IHS变换法；②小波变换法
空域法是把图像看作是平面中各个像素组成的集合，然后直接对这一二维函数进行相应的处理。
加权平均方法将源图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接的融合方法。其中平均方法是加权平均的特例，使用平均方法进行图像融合，提高了融合图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信号。
假设参加融合的两个图像分别为A、B，图像大小为M×N，经融合后得到融合图像C，那么，对A、B两个源图像的像素灰度值加权平均融合过程可以表示为:
C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (2-1)
式中:
n1表示图像中像素的行号，nl=l，2，3，...……M;
n2表示图像中像素的列号，n2=1，2，3，...……N;
ω1表示加权系数1；
ω2表示加权系数2；通常ω1+ω2=1。
图像灰度值的平均可看作是灰度值加权平均的特例，即ω1=ω2=0.5。
加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使融合图像的信噪比降低;当融合图像的灰度值差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。
假设参加融合的两个原图像分别为A、B,图像大小为M×N,经融合后得到的融合图像为F，那么：
基于像素的灰度值取大图像融合方法可表示为
基于像素的灰度值取小图像融合方法可表示为
式中：m为图像中像素的行号，n＝1,2,…,M；
n为图像中像素的列号，n＝1,2,…,N；
即在融合处理时，比较源图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值大/小的像素(可能来自图像A或B)作为融合后图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素，该融合方法的适用场合非常有限。简单的图像融合方法具有实现简单，融合速度快的优点。但在多数应用场合，这些简单的图像融合方法的局限性是显而易见的，无法获得满意的融合效果。
主分量（PCA）变换，又称K-L变换，它是一种基于目标特性的最佳正交变换。在进行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法，它是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限度的表现在融合后的新图像中。图像PCA变换的结果在舍弃相关性较差的次要成分后进行反变换所恢复出的图像是原图像在统计意义上的最佳逼近。
（1）主分量分析原理
各源图像的原始数据可表示为：
其中，m和n分别为源图像个数(或称变量数)和每幅图像中像素数；矩阵中的每一行向量表示一幅源图像。
一般图像的线性变换可以用下面的式子表示：
式中X为待变换图像数据矩阵，Y为变换后的数据矩阵，T为实现这一线性变换的变换矩阵。如果变换矩阵T是正交矩阵，并且它是由源图像数据矩阵X的协方差矩阵C的特征向量所组成，则上式的线性变换称为K-L变换，并且K-L变换后的数据矩阵的每一行向量为K-L变换的一个主分量。
(2)主分量变换的过程
用于图像的K-L变换的过程如下：
①根据原始图像数据矩阵X，求出它的协方差矩阵C：
X的协方差矩阵为:
②求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下：
写出特征方程：
式中：I为单位矩阵，U为特征向量。
解上述的特征方程即可求出协方差矩阵C的各个特征值
，并将其按
的顺序排列，求得各特征值相对应的单位特征向量(经归一化)
：
③得到变换矩阵
，其中
，是以各个特征向量为列构成的矩阵，且
矩阵是正交矩阵，即
矩阵满足：
(单位矩阵)。
④将变换矩阵T代入Y=TX，将得到K-L变换的具体表达式：
式中Y矩阵的行向量
为第j个主分量。
经过K-L变换后，得到一组m个新的变量，它们依次被称为第一主分量，第二主分量，…第m主分量。在PCA反变换时，只需运用到前m个主分量，这也正是主分量名称的由来。
PCA变换用于图像融合的基本原理是:首先计算参加融合的两幅源图像的协方差矩阵，然后求其特征值对应的特征向量，最后利用与最大特征值相对应的特征向量来确定两幅图像的加权系数。
图3-1 基于PCA变换的图像融合方法
PCA融合算法的优点在于，它适用于多光谱图像的所有波段(IHS变换只能用3个波段)，但其不足之处在于，由于PCA融合算法中只是用高分辨率图像简单替换低分辨率图像的第一主成分，故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息，使得融合后图像的光谱畸变严重。用PCA方法确定加权系数优于加权平均融合方法中提到的根据像素灰度值自适应确定加权系数的方法，得到的融合图像效果相对较好，但是对比度的提高没有显著的效果。
IHS分别表示强度I(Intensity)、色调H(Hue)和饱和度S(Saturation)，它们是从人眼中认识颜色的三个特征。强度是光作用在人眼所引起明亮程度的感觉，确定像素的整体亮度，与物体的反射率成正比。而色调和饱和度又统称为色度，反映颜色信息。色调反映了颜色的类别，饱和度则是彩色光所呈现彩色的深浅程度，这两个分量与人感受彩色的方式是紧密相连的。IHS变换有效地将RGB颜色信息表示成强度和色度信息，因此可以分离出大部分光谱信息，有利于图像光谱信息的保持。
IHS 变换是指将RGB(Red-Green-Blue,红-绿-蓝) 三原色信号表示的彩色图像转换为I(亮度)，H(色调)和S(饱和度)三个分量来表示图像信息。通常的色彩显示是通过RGB( 红绿蓝)信号的亮度值所确定的, RGB 彩色坐标系统中R、G、B呈非线性关系,使调整色调的定量操作较为困难。而IHS 彩色坐标系统中, 三个分量具有相对的独立性,可以分别对他们进行控制,并且能够准确定量地描述颜色特征。同时, 图像从RGB 转换到IHS这一彩色空间变换有效地分离了代表空间亮度信息的I 分量和代表光谱彩色信息的H 和S分量。
IHS变换的形式有多种，都是基于不同的彩色空间模型建立的，它们之间主要的不同在于亮度分量上。在此介绍Harrison和Jupp于1990年提出的变换模型，它是目前在多光谱图像融合领域中最常见的变换模型。
正变换公式如下所示：
将多光谱图像RGB三通道进行IHS变换，变换后的I分量与PAN全色图像进行直方图匹配，用匹配后的图像替换原图像的I分量再反变换，反变换如下式：
传统的基于IHS 变换法的图像融合步骤: 将多光谱的彩色图像由RGB 转换为IHS 格式, 而后将全色图像与多光谱的I 分量进行直方图匹配, 再将匹配后的全色图像替换掉多光谱图像的I 分量, 最后将替换后的多光谱图像进行HIS—>RGB转换生成融合图像。算法融合流程如下图：
图3-2 基于HIS变换融合流程图
基于IHS 变换的融合方法特点是: 算法简单易于实现, 图像的高频细节信息保留较好但光谱信息损失较大。因为IHS 变换法很好的保留了全色图像的高空间分辨率的细节信息, 所以在一般的地质遥感工作领域中普通的IHS 变换法可以满足基本要求, 但是对于一些大面积、低分辨率卫星图像, 多光谱图像所提供的彩色信息在解译工作中则变得更为重要。比如土地利用、植被监测等项目更注重遥感图像的色彩信息, 所以普通的IHS 方法并不能很好的满足要求。基于此我们针对传统IHS 变换法中多光谱信息损失严重的缺点提出了改进方案。
“小波”就是小区域、长度有限、均值为0的波形。所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与Fourier变换相比，小波变换是时间(空间)频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier变换的困难问题，成为继Fourier变换以来在科学方法上的重大突破。有人把小波变换称为“数学显微镜”。
（1）连续小波
设为
一平方可积函数，即
，若其傅里叶变换
满足条件
(2-1)
则称
为一个基本小波或小波母函数。并称式(2-l)为小波函数的可容许性条件。
将小波母函数
进行伸缩平移，设其伸缩因子(尺度因子)为α，平移因子为τ，平移伸缩后的函数为
，则有
称
为连续小波基函数。
将任意空间中的函数在小波基下展开称这种展开为函数的连续小波变换(Continue Wvelet Transform，简称WT)，表达式为:
其逆变换为：
其中：
（2）离散小波变换DWT
连续小波变换中，尺度与时间都是连续变换的，小波基函数
具有很大的相关性，因此信号f(t)的连续小波变换系数
的信息量是冗余的。减小小波变换系数兀余度的做法是将小波基函数
的α，τ限定在一些离散点上取值，一种最通常的离散方法就是将尺度按幂级数进行离散，即取
(m为整数，
≠1，一般取
=2)。
对于位移的离散化，通常对τ进行均匀离散取值，以覆盖整个时间轴。为了不丢失信息，我们要求采样间隔τ满足Nyqulst采样定理，即采样频率大于等于该尺度下频率通带的二倍。当α=
=1时，
=
，则每当m增加一倍，对应的频带减小一半，可见采样频率可以降低一半，也就是采样间隔可以增大一倍，因此，如果尺度m=0时τ的间隔为
，则在尺度为
时，间隔可以取
编辑
，此时
可以表示为
为了简化起见，把t轴用
归一化，于是上式就变为
。
任意函数f(t)的离散小波变换为:
设函数族
，H为Hilbert空间，如果存在常数0<A≤B<+∞，使得
则称
为一个框架，其中A,B分别称为框架的下界和框架的上界。当A=B时，则称该框架为紧框架，也就是说离散小波序列
构成一个框架。
由框架概念可知离散小波的逆变换近似为
当A=B时
（3） 多分辨率分析
多分辨率分析(Multi-resolution Analysis，MRA)，即“用多个分辨率提取出包含相应细节的近似信号来进行分析”。它是计算机视觉中常用的图像处理方法，提供了不同尺度下分析函数的一种手段。经过多分辨率分析后的信号，其高频包含了低频所不具有的细节信息，而小波分析正是要提取这些细节信息，因此，Mallat于1989年将多分辨率分析引入小波领域，建立了多分辨率分析与小波分析之间的联系，解决了小波领域的许多问题。多分辨率分析可以形象地表示为一组嵌套的多分辨率子空间，小波变换是一种多分辨率分析的强有力工具。
图3-3 嵌套的多分辨率子空间
假设原信号的频率空间为
，经第一级分解后
被分解成两个子空间:低频的
和高频的
；经第二级分解后
又被分解为低频的
和高频的
。上图是对
空间的三级分解示意图。这种子空间的分解过程可以记为:
其中符号⊕表示两个子空间的“正交和”；
代表与分辨率2-j对应的多分辨率分析子空间；与尺度函数相对应的小波函数的伸缩和平移构成的矢量空间
是
的正交补空间；各
是反映
空间信号细节的高频子空间，
是反映
空间信号概貌的低频子空间。由式(3-1)可得各子空间之间的以下特性:
这个结果说明，分辨率为
=1的多分辨率分析子空间
可以用有限个子空间来逼近。
由以上分析，可以采用一对FIR滤波器来实现上述的多分辨率分解。设G和H分别为理想的低通和高通滤波器，用这对滤波器对原始信号进行多分辨率分解，则信号经G和H滤波后两支路输出必定正交(因为频带不重叠)，且两支路输出的带宽均减半，因此采样率可以减半而不会引起信息丢失(带通信号的采样率决定于其带宽，而不受限于其频率的上限)。正因为这样，在一级滤波后就可以加入降2采样。然后再对低频输出分量再一次分别应用G和H进行滤波，再降2采样，如此重复滤波就实现了对原始信号的多分辨率分解，如图3-2所示，图中↓2表示降2采样。
图3-4 多分辨分析的滤波器组成分解过程
图3-5 二维离散小波分解示意图
图3-6 二维离散小波重构示意图
（4）图像的小波变换
图像是二维信号，它的二维多分辨分析和一维多分辨分析相类似，但这里的空间由一维扩展到二维。按照二维Mallat算法，在尺度j-1上有如下的Mallat分解公式：
相应的重构公式如下:
其中
分别对应于图像
的低频成分、水平方向上的高频成分、垂直方向上的高频成分、对角方向上的高频成分;
、
分别为H、G的共辘转置矩阵。
将图像做一次小波分解，即将图像分解成低频近似分量、水平高频分量、垂直高频分量和对角高频分量，二维图像数据经三次小波分解的塔形框架如图3-3所示，图中下标表示小波分解的层数。在这种分解方式下，每一层均被分解为四个频带，三个高频和一个低频，下层的分解只对上一层的低频分量LL进行分解。
图3-7 图像的二级小波分解示意图
其中L为图像的低频部分，集中了其主要能量，
分别表小第j层水平、垂直与对角方向的高频分量，它们都是图像的细节部分。图像的三级小波分解示意图有：
图3-8 图片的二级小波分解图示
对于图像融合，在频率域比在时间域更为有效，融合算法的设计必须把融合的技术目的和图像的频率域表现(即融合理论基础)结合起来考虑。对一幅灰度图像进行N层的小波分解，形成3N+1个不同频带的数据，其中有3N个包含细节信息的高频带和一个包含近似分量的低频带。分解层数越多，越高层的数据尺寸越小，形成塔状结构，所以图像的小波分解也称之为小波金字塔分解。它也是一种图像的多分辨率、多尺度分解。
基于小波变换的图像融合的基本思想是对每一副源图像进行小波变换，得到它们的小波表小，然后用这些小波表示作为输入根据特定的融合法则构造融合图像的小波表示。通过在这种融合图像的小波表示逆变换即可得到融合图像。这个过程如图2-4所示。
设A,B为两幅原始图像，F为融合图像。A,B两幅图像融合的基本步骤如卜:
1、对A,B两幅图像分别进行小波变换，建立各自待融合图像的小波金子塔图像序列；
2、分别使用不同的融合算子作用于各个分解层的不同高频子图像以及最高层的低频子图像，从而得到融合后的小波金子塔图像序列。
3、对各分解层进行小波反变换，上一层的小波反变换的结果就是下一层小波金子塔图像序列的低频子图像，依次类推，最终所得到的图像就是融合图像。
图3-9 小波融合的原理图
利用小波变换将图像分解为低频和高频两部分，小波分解后，可以在小波域内分别对图像的低频和高频进行处理，既能提升图像信息的高频分量，同时保留图像低频分量的一致性和相关性，最后通过找出更有效的加权因子对小波系数重构得到融合结果。这种方法既简化了计算，同时又具有很好的融合结果。
设A、B分别为两幅原始图像，F为融合的图像。在本融合实验中图像融合过程中，融合规则及融合算子的选择如下。
对于边缘分量，即小波分解中的高频分量LHj,HLi,HHi，取两幅图像相应系数矩阵中对应项的最大值（i=1,2,3,...,N）；对于低频分量LL，由于这部分对恢复图像质量影响很大，采用：
F(j,k)=(A(j,k)+K×B(j,k)) ×α-|A(j,k)-K×B(j,k)| ×β计算。其中K、α、β为加权因子。前半部分A（j,k）+K×B(j,k) ×α表示取两幅图像的加权均值，影响融合后图像的能量，对融合后图像的高度起决定作用；后半部分|A(j,k)-K×B(j,k)| ×β表示取两幅图像的加权差值，包含两幅图像的模糊信息。因子K调节两幅图像的战优比例，使两幅亮度不同的图像达到均衡。随着α因子的增大，图像加亮；随着因子β增大，图像的边缘加强。对于不同的图像，适当调整K、α、β,可以消减模糊边缘并确保在消减时不过度地丧失边缘信息。对其他高频成分，取两组系数的最大值，可以得到最强的边缘信息，从而得到质量良好的输出图像。
图像融合效果的评价问题是一项重要而有意义的工作。目前，图像融合效果的客观、定量评价问题一直未得到很好解决，原因是同一融合算法，对不同类型的图像，其融合效果不同;同一融合算法，对同一图像，观察者感兴趣的部分不同，则认为的效果不同;不同的应用方面，对图像各项参数的要求不同。因此，探究图像融合效果的客观、定量评价方法十分必要。
图像融合处理的目的一是改善图像的质量，以改善人的视觉效果;二是增加融合图像中的信息量或信息的精度及可靠性，为人的决策提供更丰富、更准确、更可靠的图像信息。图像的主观评价是以人作为观察者，对图像的优劣做出主观定性评价。观察者根据一些事先规定的评价尺度或自己的经验，对被评价的图像提出质量判决。
主观评价并没有具体的指标。尽管主观评价通过大量的统计，可以获得比较准确的判断结果，这个结果主要是针对人的视觉感受做出的，但是这种评价方式最大的不足是整个过程非常烦琐，如果没有进行大量的统计，所获得的结论可能不准确。另外，目前对人的视觉特性还没有充分了解，对人的心理因素也还找不出定量描述的方法，对图像评价结论的差异会很大，所以我们就需要给出客观的评价方法
客观评价指标没有绝对的指标，它要依赖于融合图像的用途做出决定，但是也可以提出一些客观量来简单的衡量融合图像的质量。客观评价可分为两类:一类是用来评判融合图像所保持的光谱特征情况的评价指标，主要有偏差指数，光谱扭曲程度和相关系数等;另一类是用来评价融合图像所包含空间信息的评价指标，主要有信息嫡，均值，标准差，均方根误差，平均梯度等。
（1）偏差指数
偏差指数是用来比较融合图像和低分辨多光谱图像偏离程度的。融合图像的偏差指数定义为融合后图像的亮度分量
与原始多光谱图像亮度分量
差值的绝对值与原始多光谱图像亮度分量
的比值，定义为:
其中图像的大小为M×N。偏差指数的大小，反映了融合结果保持的光谱程度，偏差指数越大，说明融合图像的光谱失真越大，融合效果差。
（2）光谱扭曲程度
它直接反映了多光谱图像的光谱失真程度，光谱扭曲定义为:
其中
和
分别为原始图像和融合图像在
点上的灰度值。扭曲程度的大小，同样也是用来反映融合结果保持的光谱程度，扭曲程度越小，说明融合图像的光谱失真越小，融合效果越好。
(3)相关系数
图像的相关系数是描述两幅图像相关程度的统计量，反映两幅图像所含信息量的重叠程度。设
和
分别为大小M×N的两幅图像在
点处的灰度值，两幅图像的相关系数定义为
其中，
与
分别为两幅图像的平均灰度值。
图像的相关系数反映了两幅图像的相关程度，通过比较融合前后的图像相关系数，可以知道多光谱图像的光谱信息的改变程度。相关系数越大，说明融合后的图像的光谱信息保持程度越好。
熵是指平均信息量，对于图像来说，即有
其中，
为灰度级总数，
为灰度级为
的像素出现的概率。图像的信息熵是衡量图像信息丰富程度的一个重要指标，通过对图像信息熵的比较可以对比出图像的细节表现能力。如果融合图像的熵越大，说明融合图像的信息量增加。
- 交叉墒:
也称为相对熵。直接反映了两幅图像对应像素的差异，是对两幅图像所含信息的相对衡量。
其中
和
分别反映了
与
图像中灰度值为
的像素的概率分布。参考图像
与融合图像
之间交叉熵越小，说明参考图像和融合图像之间差异越小，即融合效果越好。
（2）相关熵
也称为互信息。它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度，因此，融合图像与原始图像的相关熵(互信息)越大越好。
互信息是反映两副图像之间的统计依赖性，互信息越大，说明从两副图像中提取的信息越多。其定义为:
其中
、
和
分别是融合图像和参考图像的联合分布、融合图像及源图像的边缘分布。
（1）均值
在统计理论中，统计均值
定义为：
对于一幅图像，
为像素总数，
为第
个像素的灰度值。均值为像素的灰度平均值，对人眼反映即为平均亮度。如果均值适中(灰度值在128附近)，则视觉效果良好。
（2）标准差
在统计理论中，统计均值
定义为:
图像的标准差为:
其中
为融合图像的均值。方差和标准差反映了灰度相对于灰度均值的离散情况，方差或标准差越大，灰度级分布越分散，此时图像中所有灰度级出现的概率越趋近相等，从而包含的信息量越趋近最大。
(3)均方根误差RMSE
设两幅图像
处对应像素分别为
和
，图像大小为M×N，均方根误差为:
均方根误差的大小反映了两幅图像对应像素差异的多少，均方根误差越小，两幅图像差异越小，反之则差异越大，我们可以求融合后的图像与融合前的图像的均方根误差。
（1）信噪比(SNR)
为参考图像，
为融合后图像。信噪比越高，说明融合效果和质量越好。
（2）峰值信噪比(PSNR)
其中n是信号每个采样值的比特数MAXI是表示图像点颜色的最大数值，如果每个采样点用8位表示,那么就是255
峰值信噪比是衡量两幅图像差别的重要指标，它反映了两幅图像对应像素的差异，我们可以对融合前的原始图像和融合后的图像求峰值信噪比，也可以对融合后的图像和理想图像求峰值信噪比，峰值信噪比越大，表明融合后的图像从原始图像提取的信息量就越多，或者是融合后的图像越接近理想图像，当然融合后图像的效果就越好。
PSNR是最普遍，最广泛使用的评鉴画质的客观量测法，不过许多实验结果都显示，PSNR的分数无法和人眼看到的视觉品质完全一致，有可能PSNR较高者看起来反而比PSNR较低者差。这是因为人眼的视觉对于误差的敏感度并不是绝对的，其感知结果会受到许多因素的影响而产生变化（例如：人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响）。
近年来，图像融合已成为图像理解、计算机视觉以及遥感领域中的一个研究热点，并广泛应用于医学、测量、工业及军事领域。而像素级图像融合获取的原始信息量最多、检测性能最好、应用范围最广，且是各级图像融合的基础。因此，对像素级图像融合的研究具有着重要的理论意义与应用价值
本文的研究内容主要是像素级图像融合的方法。涉及图像融合的概念、图像融合的目的和意义、图像融合的应用、图像融合的常用方法及评价标准。先后介绍了图像融合的简单方法（像素灰度选大、选小、加权平均算法）、图像的多尺度分解、基于塔形分解的图像融合方法、图像的小波变换、基于小波变换的图像融合方法。最后应用已知的图像融合效果主观和客观的评价准则。
本论文主要归纳总结了像素级图像融合方面的研究成果，研究工作的深度和还有待于进一步的深入。未来的发展方向主要包括：
(1) 有必要针对具体的应用领域对图像融合的预处理技术进行深入研究。本文中所用的待融合源图像大多为不含噪声干扰且经过精确配准的理想图像。然而在实际应用中，图像噪声或图像未达到要求的配准精度将阻碍融合的进行或者严重影响融合效果。
(2) 虽然当前的图像融合算法种类不少，但是多处于对不同的图像源分别采用相应算法的状态，也就是说融合算法各有优劣。如果我们能结合融合图像的评价标准，提出新的评价标准并建立一个相对完善的评价体系，针对不同的图像源，让计算机能自动选用合适的融合方法。这对图像融合在实际工程中的应用将有很大的帮助。
(3) 对实时图像融合方法进行研究。目前，图像融合的大多数方法是针对静态图像的，在一些实时性要求高的场合缺乏必要的实时性，就限制了应用范围。随着遥感技术的发展，用户对信息的要求正从静态非实时向动态实时转化，开发实时处理多源图像数据的算法也将成为一个研究热点。
(4)现有的融合算法大多数是以软件形式实现的。为了提高图像融合系统的实时性，在研究高效图像融合算法的同时，如何采用硬件实现实时的图像融合系统是一个很有价值的研究方向。
(5)当前并不存在一套比较系统而有效的图像融合理论和框架，如果能在这方面做一些思考和探索，也将是十分有意义的事情。如何实现更高级别的特征层和决策层的融合方法也是今后研究的一个方向。
547
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
