两种常用的参考图像质量评价指标——超分辨率(五)

两种常用的参考图像质量评价指标

1. PSNR（Peak Signal to Noise Ratio）峰值信噪比：

峰值信噪比（PSNR）是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。

PSNR是最普遍和使用最为广泛的一种图像客观评价指标，然而它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。

MSE 表示当前图像X和参考图像Y的均方误差（Mean Square Error），H、W分别为图像的高度和宽度；
$$MSE=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W(X(i,j)-Y(i,j){)}^2$$
PSNR的单位是dB，数值越大表示失真越小。n为每像素的比特数，一般的灰度图像取8，即像素灰阶数为256.

$$PSNR=10{\log }_{10}\left(\frac{{\left(2^n-1\right)}^2}{MSE}\right)$$

一般地，针对 uint8 数据，最大像素值为 255,；针对浮点型数据，最大像素值为 1。

上面是针对灰度图像的计算方法，如果是彩色图像，通常有三种方法来计算。

• 分别计算 RGB 三个通道的 PSNR，然后取平均值。
• 计算 RGB 三通道的 MSE ，然后再除以 3 。
• 将图片转化为 YCbCr 格式，然后只计算 Y 分量也就是亮度分量的 PSNR。
  其中，第二和第三种方法比较常见。
  针对超光谱图像，我们需要针对不同波段分别计算 PSNR，然后取平均值，这个指标称为 MPSNR。

2. SSIM（Structural Similarity）结构相似性：
   ${\mu }_X,{\mu }_Y$分别表示图像X和Y的均值，${\sigma }_X,{\sigma }_Y$分别表示图像X和Y的方差，${\sigma }_{XY}$表示图像X和Y的协方差，即
   $${\mu }_X=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^{W}X(i,j)$$
   $${\sigma }_X={\left(\frac{1}{H\times W-1}\sum _{i=1}^H\sum _{j=1}^W{\left(X(i,j)-{\mu }_X\right)}^2\right)}^{\frac{1}{2}}$$
   $${\sigma }_{XY}=\frac{1}{H\times W-1}\sum _{i=1}^H\sum _{j=1}^W\left(X(i,j)-{\mu }_X\right)\left(Y(i,j)-{\mu }_Y\right)$$

SSIM分别从 亮度、对比度、结构 三方面度量图像相似性。
$$l(X,Y)=\frac{2{\mu }_X{\mu }_Y+C_1}{{\mu }_X^2+{\mu }_Y^2+C_1}$$

$$c(X,Y)=\frac{2{\sigma }_X{\sigma }_Y+C_2}{{\sigma }_X^2+{\sigma }_Y^2+C_2}$$

$$s(X,Y)=\frac{{\sigma }_{XY}+C_3}{{\sigma }_X{\sigma }_Y+C_3}$$

$C_1,C_2,C_3$为常数，为了避免分母为0的情况，通常取$C1=(K1\ast L{)}^2,C2=(K2\ast L{)}^2,C3=\frac{C_2}{2}$, 一般地K1=0.01, K2=0.03, L=255. 则
$$\mathrm{SSIM}(X,Y)=l(X,Y)\ast c(X,Y)\ast s(X,Y)$$

SSIM取值范围[0,1]，值越大，表示图像失真越小.
SSIM的特殊形式如下：

$$SSIM(X,Y)=\frac{\left(2{\mu }_X{\mu }_Y+C_1\right)\left(2{\sigma }_{XY}+C_2\right)}{\left({\mu }_X^2+{\mu }_Y^2+C_1\right)\left({\sigma }_X^2+{\sigma }_Y^2+C_2\right)}$$

MSSIM（Mean Structural Similarity ）平均结构相似性
在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用加权计算每一窗口的均值、方差以及协方差，权值$w_{ij}$满足${\sum }_i{\sum }_j{w}_{ij}=1$,通常采用高斯核，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平均结构相似性MSSIM：
$${\mu }_X=\sum _{i=1}^H\sum _{j=1}^W{w}_{ij}X(i,j)$$

$${\sigma }_X={\left(\sum _{i=1}^H\sum _{j=1}^W{w}_{ij}\left(X(i,j)-{\mu }_X\right)\right)}^{\frac{1}{2}}$$

$${\sigma }_{XY}=\sum _{i=1}^H\sum _{j=1}^W{w}_{ij}\left(X(i,j)-{\mu }_X\right)\left(Y(i,j)-{\mu }_Y\right)$$

$$\mathrm{MSSIM}=\frac{1}{N}\sum _{k=1}^N\mathrm{SSIM}\left(x_k,y_k\right)$$