文档图像二值化DIB-图像质量评价指标

文档图像增强和二值化方法通常用于提高文档图像分析任务（如文本识别）的准确性和效率。传统的非机器学习方法以无人监督的方式构建在低级特征上，但难以在具有严重降级的背景上的文件上的二值化。基于卷积神经网络（CNN）的方法仅关注灰度图像和局部文本特征。本文介绍一些图像质量评价指标。

找paper搭配 Sci-Hub 食用更佳 (๑•̀ㅂ•́)و✧
Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/
公益科研通文献求助：https://www.ablesci.com/

参考文献 : Submitted to IEEE Transactions on Image Processing

文档图像二值化DIB系列 paper -1-， paper -2-，database

图像相似度衡量指标

1. MSE, SNP, PSNR

对于任意的$x$和$y$的值，真实图像$f(x,y)$，模型生成的二值图像$g(x,y)$，则误差$e(x,y)=g(x,y)-f(x,y)$。
因此，两幅图像的总误差$E$为$M\times N$个$e^i$相加。
$$E=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}[g(x,y)-f(x,y)]$$
图像大小为$M\times N$，均方误差$MSE$是在$M\times N$阵列上的平均误差。
$$MSE=\frac{{\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}[g(x,y)-f(x,y){]}^2}{M\times N}$$
信噪比$SNR，单位：dB:$
$$SNR=\frac{{\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}g(x,y{)}^2}{{\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}[g(x,y)-f(x,y){]}^2}$$
峰值信噪比$PSNR，PeakSignaltoNoiseRatio:$
$$PSNR=\frac{{\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}Ma{x}^{,}g(x,y{)}^2/MN}{{\sum }_{x=0}^{M-1}{\sum }_{y=0}^{N-1}[g(x,y)-f(x,y){]}^2/MN}=\frac{{MaxValue}^2}{MSE}$$
计算时使用：
$$PSNR=10{\log }_{10}\frac{{MaxValue}^2}{MSE}=10{\log }_{10}\frac{255^2}{MSE}$$

  def cal_psnr(im1, im2):
      mse = (np.abs(im1 - im2) ** 2).mean()
      psnr = 10 * np.log10(255 * 255 / mse)
      return psnr

对于$float$型的图像数据，其取值范围是$[0,1]$，设置$MaxValue$为$1$​。对于$uint8$类型的图像数据，其取值范围是$[0,255]$，设置$MaxValue$为$255$​。$PSNR$越大越好。

2. SSIM

结构相似度指数$StructuralSimilarity$，是一种衡量两幅图像相似度的指标。从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。结构相似性的范围为$[-1,1]$。当两张图像一模一样时，$SSIM$的值等于$1$。

其中${\mu }_x$是$x$的平均值，${\mu }_y$是$y$的平均值，${\sigma }_y^2$是$y$的方差，${\sigma }_x^2$是$x$的方差，${\sigma }_{xy}$是$x$和$y$的协方差。$C_1=(k_{1}L{)}^2$，$C_2=(k_{2}L{)}^2$是用来维持稳定的常数。$L$是像素值的动态范围。$k_1=0.01$,$k_2=0.03$。

  def cal_ssim(im1, im2):
      assert len(im1.shape) == 2 and len(im2.shape) == 2
      assert im1.shape == im2.shape
      mu1 = im1.mean()
      mu2 = im2.mean()
      sigma1 = np.sqrt(((im1 - mu1) ** 2).mean())
      sigma2 = np.sqrt(((im2 - mu2) ** 2).mean())
      sigma12 = ((im1 - mu1) * (im2 - mu2)).mean()
      k1, k2, L = 0.01, 0.03, 255
      C1 = (k1*L) ** 2
      C2 = (k2*L) ** 2
      C3 = C2/2
      l12 = (2*mu1*mu2 + C1)/(mu1 ** 2 + mu2 ** 2 + C1)
      c12 = (2*sigma1*sigma2 + C2)/(sigma1 ** 2 + sigma2 ** 2 + C2)
      s12 = (sigma12 + C3)/(sigma1*sigma2 + C3)
      ssim = l12 * c12 * s12
      return ssim

$图像二值化模型评估指标：$

$FM，p-FM，PSNR，SSIM，DRD，MPM，NRM$

3. FM，p-FM

$F-Measure:$

$Recall，Precision$为分类中的性能指标。

$pseudoF-Measure:$

$pRecall$定义为 $ground$ $truth$ 图片的镂空百分比。

4. DRD

$DistanceReciprocalDistortionMetric:$

$DRD$用于衡量二值化文档图像中的视觉失真。

5. MPM，NRM

$MisclassificationPenaltyMetric:$
$$MPM=\frac{M{P}_{FN}+M{P}_{FP}}{2}$$

$where$ $$M{P}_{FN}=\frac{{\sum }_i{d}_{FN}^i}{D},M{P}_{FP}=\frac{{\sum }_j{d}_{FP}^j}{D}$$
$d_{FN}^i$和$d_{FP}^j$表示$GT$图像中第$i$个假阴性和第$j$个假阳性像素距离文本轮廓的距离。归一化因子$D$是$GT$对象的所有像素到轮廓距离之和。$MPM$越小越好。

$NegativeRateMetric:$
$$NRM=\frac{N{R}_{FN}+N{R}_{FP}}{2}$$
$where$ $$N{R}_{FN}=\frac{FN}{FN+TP},N{R}_{FP}=\frac{FP}{FP+TN}$$
$NRM$衡量$GT$与预测图像之间的不匹配程度。