遥感数字图像融合算法简介

引言

图像融合是是信息融合的一个重要分支, 在地理遥感、农业检测、城市规划等领域有着广泛的应用。

遥感提供来自地球表面的多模态和时间数据。为了处理这些多维数据源并充分利用它们，图像融合是一种很有价值的工具。处理图像之前选择合适的技术，以及对该技术的各个参数进行微调，是至关重要的。

遥感图像融合处理能够综合利用来自同一场景的不同源的图像信息, 获得更为准确、更为全面可靠的信息描述。由于不同的RS传感器的成像机理和成像带是多种多样的，因此由不同的RS传感器生成的同一场景的RS图像中都存在信息的冗余和相互补充。通过将不同传感器生成的图像的优点集成到一个图像中，可以实现对相同场景更精确、全面、可靠的图像描述。通过使用数学模型，可以实现图像数据的优化。

技术框架

图像融合算法

图像融合一般分为三类:像素级、特征级和决策级融合。这种分类方法是基于图像的表征层来划分的。其中, 像素级融合是将各源图像中对应的像素进行融合处理，包含最详细的信息, 是后两级的基础。

像素级融合是对遥感图像数据的直接的数据融合，能够尽可能多地保持对象的原始信息, 提供其他两种融合层次所不具备的详细信息，便于后续处理。

像素级融合方法主要分为空间域融合和变换域融合两大类，常见算法有加权变换法，IHS变换法，Brovey变换法和小波分析法。

加权变换法

直接对多幅原图像的对应像素点进行加权叠加。

其中 分别指融合后的图像Bk，第n幅图像对应的权值，第n幅原始图像Ak在对应位置 (i, j) 的灰度值。

加权变换法优点在于理解容易，计算量小, 适合实时处理，但是融合后的图象包含很多噪声, 特别是当融合图像的灰度差异很大时, 就会出现明显的拼接痕迹, 视觉效果差。

IHS变换法

IHS（亮度-色度-饱和度）与RGB（色度坐标）的色彩坐标系转换。

一种颜色的RGB值转IHS值：
I=R+G+B
H=(G-B)/(I-3B)
S=(I-3B)/I
区间：从0<H<1延伸至1<H<3
3波段的RGB值转IHS值：
I=(BV1+BV2+BV3)/3
H=arctan((2BV1-BV2-BV3)/(3^0.5(BV2-BV3)))+C
S=(6(BV1^2+BV22+BV3^{2-BV1BV2-BV1BV3-BV2BV3)}-0.5)^0.5/3

步骤：
1.RGB转IHS
2.对比度操作：使对比度与亮度有相同的方差与均值
3.替换
4.IHS转RGB

IHS变换法可以提高多光谱彩色合成的解译能力，RGB转IHS再转回RGB可以提升色彩饱和度，但是光谱特征畸变严重。

BROVEY变换法

Brovey变换融合（色彩标准化变换融合）是较为简单的融合方法，它是将多光谱图像的像元分解为色彩和亮度，是一种归一化后的3个波段的多光谱图像与高分辨率图像进行乘积运算的融合方法。Brovey变换的缺点是存在一定的光谱扭曲，且没有解决光谱范围不一致的全色影像和多光谱影像融合的问题，它的优点在于锐化图像的同时能够保持原多光谱图像的信息内容，对于山地、水体、植被一类地物表的非常明显，建筑区内城区色调相比较暗，但绿地反映明显。

R+G+B=1
查询色度表：
x=R/(R+G+B)
y=G/(R+G+B)
z=B/(R+G+B)
RGB分别为生成某种颜色所需的红蓝绿的量，xyz代表相应的归一化颜色组分，只需要用xy来表示色度坐标，z可以通过公式求出。

Brovey变换建立在亮度调节基础上。
亮度调节：
Red Brovey=RP/I
Green Brovey=GP/I
Blue Brovey=B*P/I
I=(R+G+B)/3
RGB分别是存放在红蓝绿影像处理内存中的感兴趣光谱波段影像，P是已配准的更高空间分辨率的数据，I是亮度。

Brovey变换融合将输入遥感数据的三个波段用下式表示：
Bi’=Bmi/(Bmi+Bm+Bmb)*Bh
Bi’表示融合以后的波段数值，Bmi，Bm，Bmb分别代表波段图像中红、绿、蓝任意一个波段的数值，Bh代表高分辨率遥感数据。

Brovey变换公式：
DN=(DNBi(DNB1+DNB2+DNB3))*DNpan
上式中DN为融合后的像素值，DNBi为多光谱图像第i波段的像素值，DNpan为高分辨率全色图像的像素值。

小波分析法

原理：
图像为二维信号, 空间L2 ( R ) 变为二维空间L2 (R×R) , 则二维尺度函数变为φ(x, y)。考虑二维尺度函数是可分离的情况, 也就是:
φ(x,y)=φ(x) φ(y)
φ(x) 是一个一维尺度函数。

若ψ(x) 是相应的小波（ψ(x)=∑h1(k)φ(2x-k)）, 那么下列三个二维基本小波:

就建立了二维小波变换的基础。

这三个小波在不同的尺度和方向上提取图像细节。在低的水平频率和高的垂直频率处φ1大, 在高的水平、低的垂直频率处φ2大, 高的水平和垂直频率处φ3大。
图像可以依据二维小波按如下方式扩展。在变换的每一层次, 图像都被分解为四个四分之一大小的图像。

其中, L表示低频, H表示高频, 下标1, 2表示一级或二级分解。
在每一分解层上, 图像均被分解为LL, LH, HL和HH四个频带, 下一层的分解仅对低频分量LL进行分解。
这四个子图像中的每一个都是由原图与一个小波基函数的内积后, 再经过在x和y方向都进行2倍的间隔采样而生成的。这是正变换, 也就是图像的分解。
逆变换, 也就是图像的重建, 是通过图像的增频采样和卷积来实现的。

快速分解：
若设H (低通) 和G (高通) 为两个一维镜像滤波算子, 其下标r和c分别对应于图像的行和列, 则按照二维Mallat算法, 在尺度j-1上有如下的Mallat分解公式:

Cj, Dj1, Dj2, Dj3分别对应于图像Cj-1的低频成分、垂直方向上的高频成分、水平方向上的高频成分、对角方向上的高频成分。与之对应的二维图像的Mallat重构算法为:
H和G分别为H, G的共轭转置矩阵。

融合步骤：
若对二维图像进行N层的小波分解, 最终将有 (3N+1) 个不同频带, 其中包含3N个高频带和一个低频带。
融合基本步骤如下:

1. 对每一源图像分别进行小波分解, 建立图像的小波金字塔分解;
2. 对各分解层分别进行融合处理, 采用不同的融合算子对各分解层的不同频率分量进行融合处理, 最终得到融合后的小波金字塔;
3. 对融合后所得的小波金字塔进行小波逆变换, 所得到的重构图像即为融合后的图像。
   

融合规则：
基于方差的融合规则相对较优：
1.局部方差准则
设A (x, y) 和B (x, y) 分别为两幅源图像A和图像B的高频子图像数据值, F (x, y) 为相应的高频子图像融合值。

1. 将A (x, y) 和B (x, y) 分成若干个M×N子块图像;
2. 对每个子块图像进行数值分布统计, 计算其方差;
3. 确定A和B图像每个子块图像加权系数K1和K2。如果A图像子块方差大于B图像子块方差, 则K1≥K2, 否则K1<K2;
4. 确定每个子块图像的数据融合数值为:F (i, j) =k1A (i, j) +k2B (i, j)。
   重复计算b, c, d, 计算全部子块图像融合值。

2.局部均方差准则
分别计算对A图像和B图像的小波分解后的高频子图像上每个像素的局部均方差, 以此作为准则, 确定融合后的高频子图像上的像素值。具体做法同局部方差准则。

融合评价客观指标

在对融合后的图像进行效果评价时可以采用主观评价与客观评价，其中客观评价需要指标描述，常用的评价指标有熵、平均梯度、偏差、相关系数和标准偏差。

假设影像大小为m×n, 灰度范围是 (0, 255) , M (x, y) 代表低分辨率的多光谱影像, F (x, y) 代表融合影像。

1. 熵
   
   pi为影像出现灰度值为i的像素的概率。
   H (x) 越大, 影像 (或影像集) 所含信息越丰富。因此可用信息量来评价融合影像信息增加程度。

2. 平均梯度
   
   通常g越大, 影像越清晰, 因此可用其来评价融合影像和原影像在微小细节表达能力上的差异。

3. 偏差
   
   偏差是指原始影像M (x, y) 灰度平均值与融合影像F (x, y) 灰度平均值之差。
   绝对偏差D反映融合影像与原多光谱影像光谱特征变化的平均梯度和每一地物覆盖类型融合后的光谱变异程度。
   理想的情况下, D=0。
   相对偏差为绝对偏差占平均值的百分比，反映融合方法将高空间分辨率影像的细节传递给融合影像的能力。

4. 相关系数
   
   融合的影像与相应多光谱影像的相关系数能反映融合影像同原多光谱影像光谱特征相似程度, 即保光谱特性能力, 而融合影像与高分辨率影像的相关系数能反映融合影像空间分辨率改善程度。

5. 标准偏差
   
   σ反映融合影像上某一区域像素值是否以同样方式变化及其变化强度。