图像融合评价指标

图像融合评价指标

1. 人类视觉系统（HVS）

a) 从空间频域来看，人眼是一个低通线性系统

b) 人眼对亮度的响应具有对数非线性性质

c) 人类对亮度信号的空间分辨率大于对色度信号的空间分辨率

d) 人眼视觉系统对信号进行加权求和运算，相当于使信号通过一个带通滤波器。

e) 图像的边缘信息对视觉很重要，特别是边缘的位置信息，人眼容易感觉到边缘的位置变化，而对边缘的灰度误差并不敏感

f) 人眼的视觉掩盖效应是一种局部效应，受背景照度、纹理复杂性和信号频率的影响，具有不同局部特性的区域，在保证不被人眼察觉的前提下，允许改变的信号强度不同

2. 分类

图像质量评价（IQA），根据参考图片（reference image），即原始图片的存在与否，可分为：

a) 全参考（full-reference）方法

b) 半参考（reduced-reference）方法

c) 无参考（no-reference）方法

其中，FR方法研究比较成熟，相关方法较多。RR方法只有原始图片的部分信息，相关方法不是很有效，NR方法目前还处于研究中，因此我们这里只对FR方法进行介绍

图像融合评价指标： 信息熵（IE）、标准差（STD）、对比度（CON）、空间频率（SF）、平均梯度（AG）及 Piella 基于结构相似性的两个指标 QW与 QE等。

定义：（正向指标，反向指标） 记 I1 与 I2 为任意两幅同源融合图像, O1 与 O2 为指标 M 给出的 I1 与 I2 的客观评价结果. 当 I1 的主观评价结果优于 I2 时, 若 O1 > O2, 则称指标 M 为正向指标; 否则, 称 M 为反向指标. 如无特殊说明, 均为正向指标.

一般方法

---

1. 信息熵（IE）

在信息论中，熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。

计算公式：
$$H(X)=\sum _{i}P(x_i)I(x_i)=-\sum _{i}P(x_i){\log }_{b}P(x_i)$$

2. 标准差（STD）

标准差（又称标准偏差、均方差，英语：Standard Deviation，缩写SD），数学符号σ（sigma），在概率统计中最常使用作为测量一组数值的离散程度之用。标准差定义：为方差开算术平方根，反映组内个体间的离散程度；标准差与期望值之比为标准离差率。

计算公式：
$$SD=\sqrt{\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2}\mu 为平均值（\bar{x}）$$

3. 对比度（CON）

对比度是画面黑与白的比值，也就是从黑到白的渐变层次。比值越大，从黑到白的渐变层次就越多，从而色彩表现越丰富。对比度对视觉效果的影响非常关键，一般来说对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。

计算公式：
$$C=\sum _{\delta }\delta (i,j{)}^2{P}_{\delta }(i,j)$$
其中，$\delta (i,j)=|i-j|$，即相邻像素间灰度差；$P_{\delta }(i,j)$为相邻像素间灰度差为$\delta$的像素分布概率。

4. 空间频率（SF）

空间频率（spatial frequency），空间频率反映的是图像灰度的变化率.

其计算公式为 ：
$$SF(F)=\sqrt{R{F}^2+C{F}^2}$$
其中，RF 和 CF 分别为图像的行频率和列频率，如下：
$$RF=\sqrt{\frac{1}{mn}\sum _{i=1}^{M-1}\sum _{j=1}^{N-1}(F(i,j)-F(i,j+1){)}^2}$$

$$CF=\sqrt{\frac{1}{mn}\sum _{i=1}^{M-1}\sum _{j=1}^{N-1}(F(i,j)-F(i+1,j){)}^2}$$

空间频率可用于反映图像的清晰度. 一般地, 图像越清晰, 空间频率越高.

5. 平均梯度（AG）

点（m,n）处的梯度定义为：
$$S(m,n)=\sqrt{G_x(m,n{)}^2+G_y(m,n{)}^2}$$
清晰度评价准则定义：
$$Definition\_metric=\sum _m^M\sum _n^N(S(m,n)-\bar{S}{)}^2$$
其中，$G_x$ 和 $G_y$ 分别代表使用 Sobel 梯度算子求得的 $x$ 和 $y$ 方向的图像梯度，$\bar{S}$ 代表梯度图像 $S$ 的平均梯度。清晰度评价准则值越大表示图像越清晰，反之，图像越模糊。

6. 交叉熵（cross entropy）

主要用于度量两个概率分布间的差异性信息。
$$H(p,q)=\sum _{i}p(i)\cdot \log (\frac{1}{q(i)})$$
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。

7. 边缘强度（Edge Intensity）

FR方法

FR方法需要同时用到原始图片和失真图片，对二者的特征进行相似性比较。一般来说，FR-IQA包括两类方法，一种是传统的自底向上方法，这类方法基于HVS的某些视觉通路，如掩盖效应，对比灵敏度，最小可视差等，由于HVS的复杂性和认知的有限性，这类自底向上的方法通常很难与主观感知保持一致；比较经典的自底向上方法有MSE/PSNR。另一种是自顶向下的方法。这类方法对HVS的整体函数进行建模，利用了图像的全局信息，与主观感知的一致性要高于前一类方法。这类方法比较经典的算法包括，SSIM，MDSI以及GMSD

1. SSIM(structural similarity)

HVS能高度自适应提取场景中的结构信息，它分别从亮度、对比度、结构三方面度量图像相似性。

• 亮度：
  $${\mu }_x=\frac{1}{N}\sum _{i=1}^N{x}_i$$

$${\sigma }_x={\left(\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_x{)}^2\right)}^{\frac{1}{2}}$$

• 亮度相似性：
  $$l(X,Y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}$$

• 对比度相似性：

$$c(X,Y)=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2}$$

• 结构相似性：
  $$s(X,Y)=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}$$

计算得：
$$SSIM(X,Y)=[l(X,y){]}^{\alpha }\cdot [c(X,Y){]}^{\beta }\cdot [s(X,Y){]}^{\gamma }$$
其中，$C1,C2,C3$为常数，用于防止分母为零。SSIM取值范围[0,1]，值越大，表示图像失真越小.

2. Piella 结构相似性指标$Q_W$、$Q_E$

在结构相似理论的基础上, Piella 提出了三个融合质量评价指标 $Q$, $Q_W$和$Q_E$. $Q$ 的计算思想是: 首先, 使用滑动窗口对融合图像和源图像进行切割. 然后, 分别对每个子图计算结构相似性.
$$Q(A,B,F)=\frac{1}{|W|}\sum _{w\in W}({\lambda }_A(w)SSIM(A,F|w))+{\lambda }_B(w)SSIM(B,F|w)$$
式中,$ SSIM(A,F|w)$ 是融合图像 $F$ 与源图像 A 在w 处的子图块 (大小为$ block_size×block_size$)结构相似度.‚$\lambda_A(w) =\frac{ s(A|w)}{ s(A|w)+s(B|w)}$ ，$s(A|w)$ 和 $s(B|w)$分别为图像 $A$ 与 $B$ 在窗口 $w$ 处的显著性.

考虑到每个图像块的重要程度存在差异, 如果按重要程度设置图像块质量在质量评价中的比重，可以进一步改善评估效果. 因此, Piella 等提出一种加权质量评估指标.
$$Q_W(A,B,F)=\sum _{w\in W}c(w)({\lambda }_A(w)SSIM(A,F|w))+{\lambda }_B(w)SSIM(B,F|w)$$
$c(w) $是 $w$ 处的图像块在整个图像中的重要程度:$ c(w) =C(w)/\sum_{w’\in W}C(w’)$, 这里, $C(w)=\max (s(A|w),s(B|w))$.

图像质量优劣与边缘的完整度、 清晰度等密切相关，HVS 对图像边缘敏感度最高. 因此，Piella 在求出 $Q_W$ 之后，分别对源图像和融合图像进行边缘检测，再将边缘图像带入上式 中求其加权相似度，最后综合两个 $Q_W$ , 得到基于边缘的结构相似指标：
$$Q_E(A,B,F)=Q_W(A,B,F{)}^{1-\alpha }\cdot Q_W(A^{\prime },B^{\prime },F^{\prime }{)}^{\alpha }$$
$SSIM$ 参考链接

3. 互信息（Mutual information, MI）

对于图像 A、B 和 F，互信息的数学表达式为：
$$\begin{gathered} MI=\frac{J{E}_{A,F}+J{E}_{B,F}}{I{E}_A+I{E}_B} \\ J{E}_{A,F}=\sum _{i=0}^{L-1}\sum _{j=0}^{L-1}{P}_{A,F}(i,k)\log P_{A,F}(i,k)/(P_A(i)\times P_F(k)) \end{gathered}$$
$J{E}_{A,F}$表示$A$与$F$之间的联合熵，$IE$为图像的信息熵，$P_{A,F}(i,k) $和$ P_{B,F}(j,k)$ 分别为$A$与$F$、$B$与$F$之间的归一化联合直方图。$MI$越大代表融合图像包含源图像的信息越多。

4. PSNR

MSE：反向指标，PSNR：正向指标

峰值信噪比（英语：Peak signal-to-noise ratio，常缩写为PSNR）是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。

峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方误差（MSE）进行定义。两个m×n单色图像I和K，如果一个为另外一个的噪声近似，那么它们的的均方误差定义为：
$$MSE=\frac{1}{mn}\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}[I(i,j)-K(i,j){]}^2$$
在图像融合质量评价过程中, 通常没有参考图像, 所以用源图像代替参考图像.

峰值信噪比定义为：
$$PSNR=10\cdot {\log }_{10}(\frac{MA{X}_I^2}{MSE})=20\cdot {\log }_{10}(\frac{MA{X}_I}{\sqrt{MSE}})=10\cdot \lg \frac{255}{\sqrt{MSE}}$$

src = double(imread('src.bmp'));
dst = double(imread('dst.bmp'));
 
diff_img = src - dst;
diff_img_x = diff_img(:,:,1);
diff_img_y = diff_img(:,:,2);
diff_img_z = diff_img(:,:,3);
 
diff_square = (diff_img_x.^2 + diff_img_y.^2 + diff_img_z.^2);
diff_mean = mean(mean(diff_square));
 
val = 255;
 
psnr = 10*log10((val^2)/diff_mean);

---

参考

[1] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, 2014, 40(2):306-315.

[2] Lin Zhang. Research on Image Quality Assessment[EB/OL]. 2014[11/12 2018]. http://sse.tongji.edu.cn/linzhang/IQA/IQA.htm.