关于图像融合

一、概述

图像融合的目的是融合多个原图像中的冗余信息和互补信息，强化图像中的信息，以利于对图像的进一步分析。图像融合的出来可以在三个层次上来进行：像素及融合、特征及融合和决策级融合。

1、像素及融合

这是三个层次中最基本的融合，得到的结果具有更好地细节信息，如边缘、纹理的提取。这种方法尽可能多的保存原图像中的信息，使得融合后的图片不论是内容还是细节都有所增加，这个优点是独一无二的，唯一的缺陷就是计算量大、耗时长。

2、特征级融合

把原图像中的特征信息提取出来，这些特征是感兴趣的区域，如边缘、人物、建筑等。然后对这些特征信息进行处理、整合得到融合后的特征图。特征级融合对图像匹配的精度和要求没有第一层那么高，计算速度也比第一层快，可是它提取图像特征作为融合信息，所以会丢失掉很多细节特征。

3、决策级融合

最高层次的图像融合方法，抽象等级也是最高的。它是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果，进行进一步融合的过程，最终的决策结果是全局最优决策。

总结：综合以上，研究和应用最多的是像素及融合！

对于像素及融合，我们通常研究以下三种方法：

A/简单的图像融合方法。B、基于塔形方法。C、基于小波变换的图像分解方法。

二、简单方法

1、像素灰度选最大值方法；

F(m1,m2)=Max{N1(m1,m2),N2(m1,m2),......,Nt(m1,m2)}

N1,N2....Nt个大小为m1*m2的原图像，F为融合后的图像；

2、像素灰度值选最小方法；

3、加权平均融合方法；

F(m1,m2)=W1N1(m1,n1)+W2N2(m2,n2)+...+WjNj(m1,n1)

其中，W1....Wj为个图像的加权系数，且他们的和为1。

在这种加权平均融合的方法中，参与融合的图像提供了冗余信息，这种融合可以提高检测的可靠性，同时也可提高信噪比。

证明：假设有J个含噪声图像g(m1,n1)，g(m1,n1)=f(m1,n1)+ƞ(m1,n1)。ƞ(m1,n1)为图像在像素(m1,n1)处的噪声，并且假设其为不相关的零均值随机噪声。f(m1,n1)为不含噪声的原图像。

对以上J个图像进行平均加权融合的图像N(m1,n1)为：

显然，

得融合后的标准差降为原来的1/J^(1/2)。实际上，此时多幅图像的像素级平均融合是一种图像处理的平滑处理，这种平滑处理在减小图像噪声的同时，往往可能在一定程度上使图像的边缘、轮廓变得模糊。彩色图像融合就是三通道依次进行！

三、塔形分解法

1、图像融合的步骤

（1）对每一幅原图像分别进行某种塔形分解，建立各图像相应的金字塔。

（2）对多分解层分别进行融合处理，不同层规则可不同，得到融合后的金字塔。

（3）进行逆塔形变换。

2、原理阐述

（1）高斯金字塔（最基本的金字塔）：原图像作为最底层图像G0（第0层），利用5x5的高斯核卷积，然后进行下采样，得到上一层的图像G1，重复这样得到高斯金字塔。构建过程为

仿真结果如下：

（2）拉普拉斯金字塔

在高斯金字塔的运算过程当中，图像经过卷积和下采样会丢失部分高频信息，所以我们会定义拉普拉斯金字塔。用高斯金字塔的每一层图像减去上一层图像上采样并高斯卷积之后的预测图像，得到一系列的插值图像，就是我们所得的拉普拉斯图像。

L0层图像是高斯金字塔G0图像与其高一层的图像G1经过内插放大后的图像*G1的差，此过程相当于带通滤波，所以拉普拉斯金字塔又被称为带通金字塔分解。

仿真结果如下：

（3）重构

对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式递推，可以恢复其对应的高斯金字塔，并得到原图像G0；

GN=LPN;    当L=N时

GL=LPL+G*L+1    当1<L<N;

图像拉普拉斯金字塔分解的目的是将原图像分别分解到不同的空间频带上，融合过程是在各空间频率层上分别进行的，这样不同层可用不同的融合算子。

仿真结果如下：