像素级图像融合的常用算法

主要包括平均法与加权平均法、像素灰度选择、PCA融合方法、逻辑滤波、颜色空间融合、神经网络等方法。

1.平均法与加权平均法

加权平均方法将原图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接的融合方法。其中平均方法是加权平均的特例。使用平均方法进行图像融合，提高了融合图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信息。

2.像素灰度选择

融合的两幅原图像分别为A、B，图像大小分别为M*N,融合图像为F，则针对原图像A、B的像素灰度值选大（或小）图像融合方法可表示为：

其中：m、n分别为图像中像素的行号和列号。在融合处理时，比较原图像A、B中对应位置（m、n）处像素灰度值的大小，以其中灰度值大（或小）的像素作为融合图像F在位置（m、n）处的像素。

3.PCA融合方法

采用线性投影的方法将数据投影到新的坐标空间中，从而使得新的成分按信息量分布,第一主成分包含的信息量最大，变换后各主成分分量彼此不相关，且随着主成分编号的增加该分量包含的信息量减小。PCA变换后图像的信息主要集中在前几个主成分分量中,在变换域中丢弃信息量小的主成分分量,将原始的海量高光谱数据变换为少量的几个成分，在降低数据维数的同时，最大限度地保持了原始数据的信息。

•                                                       Y=TX
  

其中：X是原始图像，Y是变换图像，T是变换矩阵。

4.逻辑滤波法以及颜色空间

逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法，例如当两个像素的值都大于某一阈值时，“与”滤波器输出为“1”（为“真”）。图像通过“与”滤波器而获得特征可认为是图像中十分显著的成分。
颜色空间融合法的原理是利用图像数据表示成不同的颜色通道。简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜色通道,合并这些通道得到一幅假彩色融合图像。

5.神经网络

图像融合一般包括三个步骤：特征提取、后期优化、融合。神经网络在图像的特征提取中具有突出优势，因此神经网络在图像融合中的应用逐渐增多。
主流有脉冲耦合网络、卷积稀疏网络、卷积网络、生成对抗网络等。

1.脉冲耦合网络

脉冲耦合神经网络(Pluse－coupled Neural Network，PCNN) 是由Eckhorn 等人提出，他们模拟猫的视皮层中神经元的同步脉冲。后来经过修改称为PCNN。1996 年，Broussard和Rogers 在生理学启发的理论基础上将PCNN 应用于图像融合，从而证明了PCNN 的可行性和优势。自此许多基于PCNN 及其变体的图像融合方法被研究人员所提出。
首先利用多尺度变换的方法将源图像分解为高频（变化剧烈，边缘等）部分与低频部分，其次再利用PCNN 作为融合策略对高频部分和低频部分进行处理获得融合的高频与低频部分，最后采用逆变换方法从而得到最终的融合图像。基于PCNN的图像融合方法重点在于其使用的融合策略，如图所示的融合方法是将PCNN分别应用于高低频部分特征提取当中，而后获得融合图像。

2.卷积稀疏编码

给定一组滤波器𝑑_𝑚，图像s被分解成一组卷积的总和，即：

其中𝑥_𝑚是一组未知系数集合的映射，通过用稀疏性对𝑥_𝑚进行正则化,λ是正则化参数，则可以得出CSC模型如下：

3…卷积神经网络

CNN在特征提取和数据表示方面具有很强的能力。一方面，它可以有效地从训练数据中学习特征而不需要人为的干预，另一方面，不同信号之间的复杂关系可以是通过深度卷积网络进行建模，其适用于多源图像融合，特别是类别差异较大的传感器获得的图像数据之间的融合。

4…对抗生成网络

将红外图像与可将光图像输入到生成器中得到融合图像，再将融合图像与可见光图像一同输入到判别器，若判别器无法区分则证明得到的融合图像是最佳的。