基于局部能量特征和拉普拉斯金字塔的图像融合

导读

图像局部能量特征在图像的多尺度融合里应该广泛，比如小波融合，拉普拉斯金字塔融合等，虽然我也没怎么见到过。局部能量特征算是比较老的一种方法了，好像是2000几年提出的方法，因为在一篇论文中有用到，所以去查了一下，居然还找不到太多整理好的资料，最后只能去论文里看了一下，大概做一个总结。下面讲一下在拉普拉斯金字塔下的局部能量特征融合算法，应该是有原始论文的，我也没详细去查，本身就是比较老的算法了，但是效果还可以。

拉普拉斯金字塔

拉普拉斯金字塔本身就是很经典的图像处理方法，结合不同领域的应用也多得一批。不了解的可以在百度找到一大把，在融合领域的应用范例可以参考这里，在此不作更多展开。

局部能量特征

首先，什么是局部能量特征，看一下定义，$s(i,j)={\sum }_m{\sum }_{n}C(i+m,j+n{)}^2$，什么意思呢，就是对于图像s，在(i,j)的位置，该点的局部能量即为以该点为中心的m•n窗口内的像素值平方和。有什么意义呢，确实，在对一副正常图像求解邻域平方和的意义不够突出，但当图像是梯度图或者细节图的时候，其意义就很明显了，如下图所示。

对于lena图，中间是正常的梯度图，右边的增强了2倍后的梯度。显然，右边的纹理边缘明显了很多。对于那些边缘附近的点，按上式求解能量时，右图能量将远远高于中间的图。有了这样的认识，就可以想如何去应用在图像融合问题中。

对于图像融合问题，输入一般是多张图像，每张图像都有好的部分和不好的部分，我们要做的就是提取每张图像中好的部分。如上图所示，我们可以对每张图都做一次简单的求解梯度。

为了方便区分，我特意强化了细节的显示。可以明显看到，左图头发部分细节更加明显突出，因此能量更大，右图的脸庞细节则更加清晰可见，该区域能量更大。融合的时候，由于左图的头发部分和右图的脸庞部分，两者能量相差过大，匹配度小，因此我们只选择大的那部分；而在其他相似区域，由于能量相同或者接近，匹配度大，我们按照能量大小加权相加。以下给出匹配度和权重具体的确定方法，以AB两张图像为例：

• 选择一个阈值e，一般取0.6。
• 计算多源图像的局部能量图。
• 计算匹配度$M_{AB}$