图像融合效果_质量评估指标小结

Performance evalution of image fusion

• 选择融合方法
• 修正参数

subjective

基于人类视觉系统

• image details, object completeness, and image distortion
• 受过训练的观察者为融合后图像打分
• 最简单
• 缺点：人为干扰、巨大时间损耗、高开销、不可重复性

objective

大批量地评估图像质量。和人眼观察的结果保持一致性，但又不会受到人为干扰。

A:红外图 B:可见图 F:融合图 X：原图像的参数列表M*N

1. Entropy(EN) 图像熵

   测量一张融合图中有多少信息（基于信息理论）

   $EN=-{\sum }_{l=0}^{L-1}{p}_l{\log }_2{p}_l$

   L:0~灰度上限中的每一个值 p_l:该灰度所占的比例

   L为图像灰度级数，对于8-bit灰度图像，L=255

   EN越大，该图像含有的信息越多，融合的表现越好。

   然而，EN可能会被噪声影响，融合图的噪声越多，EN越大。

   所以EN常常是一个辅助的量度。

2. Mutual information(MI) 互信息

   用来度量从原图像传到融合图像的信息量。两张图是否独立或关联，以及关联程度。

   $MI=M{I}_{A,F}+M{I}_{B,F}$

   Kullback–Leibler measure:

   $M{I}_{X,F}={\sum }_{x,f}{p}_{X,F}(x,f)\log \frac{p_{X,F}(x,f)}{p_X(x)p_F(f)}$

   分子：边缘分布概率； 分母：联合分布律

   MI越大意味着信息的传递越多，也就越好。

3. Feature mutual information(FMI)

   一些特定的特征，比如细节，对比度，边界。这个指标度量特征信息的传递情况。

   $FMI=M{I}_{\acute{A},\acute{F}}+M{I}_{\acute{B},\acute{F}}$

   这个指标越大越好。

4. Structural similarity index measure(SSIM) 结构相似度

   涵盖三个方面：相关性损失，亮度，对比度失真。三者相乘就是评估结果。

   $SSI{M}_{X,F}={\sum }_{x,f}\frac{2{\mu }_x{\mu }_f+C_1}{{\mu }_x^2+{\mu }_f^2+C_1}\cdot \frac{2{\sigma }_x{\sigma }_f+C_2}{{\sigma }_x^2+{\sigma }_f^2+C_2}\cdot \frac{{\sigma }_{xf}+C_3}{{\sigma }_x{\sigma }_f+C_3}$

   亮度对比函数 * 对比度对比函数 * 结构对比函数

   ${\sigma }_{xf}$:协方差

   ${\sigma }_x,{\sigma }_f$:标准差

   $C_1,C_2,C_3$:稳定系数。当全部等于0时，SSIM退化为通用图像指标。

   ${\mu }_x,{\mu }_f$:平均值

   $SSIM=SSI{M}_{A,F}+SSI{M}_{B,F}$ 表征结构相似性。

5. Q^AB/F

   量度边缘信息的转移（基于边缘信息被融合后的图像保存下来了）

   $Q^{AB/F}=\frac{{\sum }_{i=1}^N{\sum }_{j=1}^M{Q}^{AF}(i,j)w^A(i,j)+Q^{BF}(i,j)w^B(i,j)}{{\sum }_{i=1}^N{\sum }_{j=1}^M(w^A(i,j)+w^B(i,j))}$

   越大就意味着转移了越多。越好。

   $Q^{XF}(i,j)=Q_g^{XF}(i,j)Q_a^{X,F}(i,j)$
   边缘强度；边缘方向值。w代表权重。

6. Q_w 通用图像质量指标的一个变种

   为一些特征的图像区域赋予很高的权重。

   $Q_w(A,B,F)={\sum }_{w\in W}c(w)(\lambda (w)Q_0(A,F|W)+(1-\lambda (w)Q_0(B,F|w))$

   w代表一个区域，|W|代表一张图多少个区域。Q₀可以用通用图像质量来计算。$\lambda (w)=\frac{s(A|w)}{s(A|w)+s(B|w)}$,s(A|w),s(B|w)表示A,B在窗口w处的显著性。c(w)标准化（正规化）系数。

7. Q_E

   在求出Q_W之后，分别对源图像和融合图像进行边缘检测

   $Q_E=Q_W(A,B,F)\cdot Q_W(\acute{A},\acute{B},\acute{F}{)}^{\alpha }$

   $\acute{A},\acute{B},\acute{F}$是图像的边缘。

   Q_E高，表现好。

8. SD 标准差

   $SD=\sqrt{{\sum }_{i=1}^M{\sum }_{j=1}^N(F(i,j)-\mu {)}^2}$

   高对比图的融合图往往SD更高，更抓人眼球，视觉效果好。

9. Spatial frequency（SF）

   基于梯度的一个图像质量指标。

   空间频率SF反映图像灰度的变化率，可用于反映图像的清晰度（细节和纹理）。一般地，图像越清晰，空间频率越高。

   $SF=\sqrt{R{F}^2+C{F}^2}$

   $RF=\sqrt{\frac{1}{MN}{\sum }_{i=1}^{M-1}{\sum }_{j=1}^{N-1}(F(i,j)-F(i,j+1){)}^2}$

   $CF=\sqrt{\frac{1}{MN}{\sum }_{i=1}^{M-1}{\sum }_{j=1}^{N-1}(F(i,j)-F(i+1,j){)}^2}$

   RF和CF为F的行频率和列频率。

   SF越大，人对其的观察越敏感，有更明显的边缘和纹理。

10. AG Average gradient 平均梯度

    $AG=\frac{1}{MN}{\sum }_{i=1}^M{\sum }_{j=1}^N\sqrt{\frac{▽F_x^2(i,j)+▽F_y^2(i,j)}{2}}$

    $▽F_x(i,j)=F(i,j)-F(i+1,j)$

    $▽F_y(i,j)=F(i,j)-F(i,j+1)$

    AG越大，融合图含有更多梯度信息，表现越好。

11. MG Mean gradient

    $MG=\frac{1}{(M-1)(N-1)}\ast {\sum }_{x=1}^{M-1}{\sum }_{y=1}^{N-1}\sqrt{\frac{((F(x,y)-F(x-1,y){)}^2+((F(x,y)-F(x,y-1){)}^2}{2}}$

    与AG类似，越大越好（富边界和纹理）。

12. MSE Mean squared error

    $MSE=\frac{MS{E}_{AF}+MS{E}_{BF}}{2}$

    $MS{E}_{XF}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}(X(i,j)-F(i,j){)}^2$

    两者表征了差异程度。越小越好。

13. RMSE root mean squared error

    $RMSE=\frac{RMS{E}_{AF}+RMS{E}_{BF}}{2}$

    $RMSE=\sqrt{\frac{1}{MN}{\sum }_{m=0}^{M-1}{\sum }_{n=0}^{N-1}(X(m,n)-F(m,n){)}^2}$

    越小越好。

14. PSNR peak signal-to-noise ratio

    反映图像的扭曲程度。

    $PSNR=lo{g}_{10}\frac{r^2}{MSE}$

    r为图像的峰值

    越大，融合图扭曲程度就越小。

15. VIF visual information fidelity 视觉信息保真度

16. CC Correlation coefficient 相关系数

    测量融合图与源图像的线性相关性。

    $CC=\frac{r_{AF}+r_{BF}}{x}$

    $r_{XF}=\frac{{\sum }_{i=1}^M{\sum }_{j=1}^N(X(i,j)-\overline{X})(F(i,j)-\mu )}{\sqrt{{\sum }_{i=1}^M{\sum }_{j=1}^N(X(i,j)-\overline{X}{)}^2({\sum }_{i=1}^M{\sum }_{j=1}^N(F(i,j)-\mu {)}^2)}}$

    CC越大，融合图与源图像越相似，表现越好。

17. NCC Nonlinear correlation coefficient 非线性相关系数

    $NCC(X;F)=2+{\sum }_{i=1}^{b^2}\frac{n_i}{N}{\log }_b\frac{n_i}{N}$

    n_i：分布在第i阶的样本个数

    b：阶的总数

    N：样本对数

18. others

    1. localized MI
    2. normalized MI
    3. Weber MI
    4. Q_p

表格总结

	definition	meaning	tendency
EN	$EN=-{\sum }_{l=0}^{L-1}{p}_l{\log }_2{p}_l$	测量一张融合图中有多少信息（基于信息理论）；L:0~灰度上限中的每一个值 pl:该灰度所占的比例；L为图像灰度级数，对于8-bit灰度图像，L=255	EN越大，该图像含有的信息越多，融合的表现越好。
MI	$MI=M{I}_{A,F}+M{I}_{B,F}$ $M{I}_{X,F}={\sum }_{x,f}{p}_{X,F}(x,f)\log \frac{p_{X,F}(x,f)}{p_X(x)p_F(f)}$	用来度量从原图像传到融合图像的信息量。两张图是否独立或关联，以及关联程度。分子：边缘分布概率； 分母：联合分布律。	MI越大意味着信息的传递越多，也就越好。
FMI	$FMI=M{I}_{\acute{A},\acute{F}}+M{I}_{\acute{B},\acute{F}}$	一些特定的特征，比如细节，对比度，边界。这个指标度量特征信息的传递情况。	这个指标越大越好。
SSIM	$SSI{M}_{X,F}={\sum }_{x,f}\frac{2{\mu }_x{\mu }_f+C_1}{{\mu }_x^2+{\mu }_f^2+C_1}\cdot \frac{2{\sigma }_x{\sigma }_f+C_2}{{\sigma }_x^2+{\sigma }_f^2+C_2}\cdot \frac{{\sigma }_{xf}+C_3}{{\sigma }_x{\sigma }_f+C_3}$ $SSIM=SSI{M}_{A,F}+SSI{M}_{B,F}$	亮度对比函数 * 对比度对比函数 * 结构对比函数。表征结构相似性。	越大越好
QAB/F	$Q^{AB/F}=\frac{{\sum }_{i=1}^N{\sum }_{j=1}^M{Q}^{AF}(i,j)w^A(i,j)+Q^{BF}(i,j)w^B(i,j)}{{\sum }_{i=1}^N{\sum }_{j=1}^M(w^A(i,j)+w^B(i,j))}$ $Q^{XF}(i,j)=Q_g^{XF}(i,j)Q_a^{X,F}(i,j)$	量度边缘信息的转移（基于边缘信息被融合后的图像保存下来了）	越大就意味着转移了越多。越好。
QW	$Q_w(A,B,F)={\sum }_{w\in W}c(w)(\lambda (w)Q_0(A,FW)+(1-\lambda (w)Q_0(B,Fw))$	通用图像质量指标的一个变种。为一些特征的图像区域赋予很高的权重。	越大越好。
QE	$Q_E=Q_W(A,B,F)\cdot Q_W(\acute{A},\acute{B},\acute{F}{)}^{\alpha }$	在求出QW之后，分别对源图像和融合图像进行边缘检测。$\acute{A},\acute{B},\acute{F}$是图像的边缘。	QE高，表现好。
SD	$SD=\sqrt{{\sum }_{i=1}^M{\sum }_{j=1}^N(F(i,j)-\mu {)}^2}$	对比度	高对比图的融合图往往SD更高，更抓人眼球，视觉效果好。
SF	$SF=\sqrt{R{F}^2+C{F}^2}$ $RF=\sqrt{\frac{1}{MN}{\sum }_{i=1}^{M-1}{\sum }_{j=1}^{N-1}(F(i,j)-F(i,j+1){)}^2}$ $CF=\sqrt{\frac{1}{MN}{\sum }_{i=1}^{M-1}{\sum }_{j=1}^{N-1}(F(i,j)-F(i+1,j){)}^2}$	基于梯度的一个图像质量指标。空间频率SF反映图像灰度的变化率，可用于反映图像的清晰度（细节和纹理）。一般地，图像越清晰，空间频率越高。RF和CF为F的行频率和列频率。	SF越大，人对其的观察越敏感，有更明显的边缘和纹理。
AG	$AG=\frac{1}{MN}{\sum }_{i=1}^M{\sum }_{j=1}^N\sqrt{\frac{▽F_x^2(i,j)+▽F_y^2(i,j)}{2}}$ $▽F_x(i,j)=F(i,j)-F(i+1,j)$ $▽F_y(i,j)=F(i,j)-F(i,j+1)$		AG越大，融合图含有更多梯度信息，表现越好。
MG	$MG=\frac{1}{(M-1)(N-1)}\ast {\sum }_{x=1}^{M-1}{\sum }_{y=1}^{N-1}\sqrt{\frac{((F(x,y)-F(x-1,y){)}^2+((F(x,y)-F(x,y-1){)}^2}{2}}$		越大越好（富边界和纹理）。
MSE	$MSE=\frac{MS{E}_{AF}+MS{E}_{BF}}{2}$ $MS{E}_{XF}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}(X(i,j)-F(i,j){)}^2$	表征了差异程度。	越小越好。
RMSE	$RMSE=\frac{RMS{E}_{AF}+RMS{E}_{BF}}{2}$ $RMSE=\sqrt{\frac{1}{MN}{\sum }_{m=0}^{M-1}{\sum }_{n=0}^{N-1}(X(m,n)-F(m,n){)}^2}$		越小越好。
PSNR	$PSNR=lo{g}_{10}\frac{r^2}{MSE}$	反映图像的扭曲程度。r为图像的峰值。	越大，融合图扭曲程度就越小。
VIF		视觉信息保真度	越大越好
CC	$CC=\frac{r_{AF}+r_{BF}}{x}$ $r_{XF}=\frac{{\sum }_{i=1}^M{\sum }_{j=1}^N(X(i,j)-\overline{X})(F(i,j)-\mu )}{\sqrt{{\sum }_{i=1}^M{\sum }_{j=1}^N(X(i,j)-\overline{X}{)}^2({\sum }_{i=1}^M{\sum }_{j=1}^N(F(i,j)-\mu {)}^2)}}$	测量融合图与源图像的线性相关性。	CC越大，融合图与源图像越相似，表现越好。
NCC	$NCC(X;F)=2+{\sum }_{i=1}^{b^2}\frac{n_i}{N}{\log }_b\frac{n_i}{N}$	ni：分布在第i阶的样本个数 b：阶的总数 N：样本对数	越大越好。