聚焦清晰度评价指标所用到的各种算法

首先，我想吐槽一下，看了好几篇聚焦评价函数的文章，说到底都是一篇文章转载或者重复上传，介绍了将近 15 种清晰度的算法，原文找了半天都没找到在哪，最多也仅能找到一些比较早的转载。

• 无参考图像的清晰度评价方法
• 模糊图像检测-无参考图像的清晰度评价

里面有些比较有名的算法，如 Brenner，Tenengrad，Laplacian，Variance，Vollath， Entropy 这些都没啥好说的，本文后面也会给出相应的公式，但是这些文章都混进去了一些奇怪的东西，例如 SMD 和 SMD2 函数 。然后 Reblur，查了半天也是没有找到任何有用的信息，直接放弃了。

关于 “SMD 与 SMD2” 的一些溯源

而且有些离谱的东西，例如里面的 SMD 灰分方差函数，我特么 baidu， bing，google 了一遍，除了这篇文章的徒子徒孙，没找到别的有用的信息，最开始的出处都没找到了，连这个缩写是哪几个单词的缩写都没搞明白。最终在参考文献里找到一篇国人的文章：一种快速高灵敏度聚焦函数

终于看到上面这个，出现在很多文章里的公式，然后顺藤摸瓜，找到引用 [1] 的文章：光学显微镜自动聚焦算法研究，Ctrl F 找一下 SMD，发现文章中关键字零匹配。

合着你这是自己给别人编了个名字？

然后继续读这篇文章，感觉终于接近真相了，这个梯度计算的公式在这文章里是为了快速选择聚焦区域的，并不是拿来做聚焦评价函数的。这文章（一种快速高灵敏度聚焦函数）感觉也太水了，就随随便便的一顿编，结果都是引了这篇文章的基本都错了。

当然这个公式不是不能用，毕竟和 Brenner 还有 Squared gradient 本质没啥区别。

然后接着说 SMD2，这个就是这文章（一种快速高灵敏度聚焦函数）提出的改进版本的 SMD，呃。。。

写成公式就是：$$F=\sum _M\sum _N\left[g(i,j)-g(i+1,j)\right]\left[g(i,j)-g(i,j+1)\right]$$感觉更像 Brenner 和 Squared gradient，不好评价。

• SMD：光学显微镜自动聚焦算法研究
• SMD2：一种快速高灵敏度聚焦函数

EAV 边缘锐度算法 与 PAV 点锐度算法

徐贵力、张霞等提出了一种基于边缘锐度的算法用于评价图像的清晰度。通过统计图像某一边缘方向的灰度变化情况来评价。

这段话也是每篇文章都有的（毕竟都是拷贝粘贴的）

然后一通寻找，只找了张霞的（中巴地球资源一号卫星多光谱扫描图象质量评价）文章里确实提到了使用 EAV 算法来评价清晰度，但是不知道是不是源头。徐贵力的那篇论文我没有找到。

但是我这里也有一个问题，EAV 明显是指 Edge Acutance Value，边缘锐度值的意思，为啥介绍的都是经过王鸿南改进的点锐度算法，还是使用 EAV 来作为缩写，不应该根据 Point Acutance Value 缩写城 PAV 吗？迷惑。

论文里的公式如下：$$EAV=\frac{1}{|f(b)-f(a)|}\sum _a^b(\mathrm{d}f/\mathrm{d}x{)}^2$$ 这么看这个公式，确实迷惑。

其中：df/dx为边缘法向的灰度变化率，f(b) - f(a)为该方向的总体灰度变化。该算法只对图像的特定边缘区域做统计，能否代表整幅图像的清晰度仍有疑问，此外计算前需人工选定边缘区域，不便实现程序运算的自动化。

这个解释也让我一头雾水，可能是我理解力太差了，大概尝试着去理解，就是 $\mathrm{d}f/\mathrm{d}x$ 就是求梯度，但是一般在图像处理里面，都会使用差分来替代。而 $a$ 和 $b$ 表示人工选定的边缘的法线方向吧，算是我还是放弃了。这个 EAV 也没办法作为聚焦评价函数，所以也就不管它了。

然后来到 PAV 点锐度算法这里，这个论文中的公式是：$$PAV=\frac{1}{MN}\sum _{i=1}^{M\times N}\sum _{a=1}^8|\mathrm{d}f/\mathrm{d}x|$$我为了方便理解，方便代码实现，将公式写成了下面的样子：$$PAV=\frac{1}{MN}\sum _{M-1}\sum _{N-1}{\left(\frac{a}{\sqrt{2}}+\frac{b}{1}\right)}^2$$ $$a=g(i-1,j-1)+g(i+1,j-1)+g(i-1,j+1)+g(i+1,j+1)-4\cdot g(i,j)$$$$b=g(i-1,j)+g(i+1,j)+g(i,j+1)+g(i,j-1)-4\cdot g(i,j)$$

和下面的拉普拉斯梯度挺像的，如果借助拉普拉斯算子来理解的话，假设有一个叫做 PAV 的算子，那么它将会是：$$\text{PAV operator}=\left[\begin{array}{ccc}1/\sqrt{2}& 1& 1/\sqrt{2}\\ 1& -4-2\sqrt{2}& 1\\ 1/\sqrt{2}& 1& 1/\sqrt{2}\end{array}\right]$$

下面有两个代码实现 PAV 点锐度算法：

• ENVIIDL：利用ENVIIDL实现图像清晰度评价——点锐度算法
• C++：EVA改进(点锐度算法)图像清晰度评价方法C++实现

下面是原论文出处：

• EAV：中巴地球资源一号卫星多光谱扫描图象质量评价
• PAV：图像清晰度评价方法研究

NRSS 和 Reblur

先说 NRSS，也是国人提出来的，看了一下论文，无关的东西就不说了，直接说和清晰度评价指标相关的。

图像清晰与否，本质是包含高频信息的多少，梯度平方和，能量熵函数之类的，都是通过计算高频分量的多少来评价图像是否清晰，也就是说：图像的高频信息越多，则图像越清晰。

这篇论文（一种针对图像模糊的无参质量评价指标）就提出了一种评价高频分量多少的方法： NRSS。

步骤就是先进行低通滤波，得到一幅参考图像，然后计算参考图像和原图的结构相似度。因为低通滤波只是将高的部分过滤了，还保留了低频部分，如果图像高频部分多（清晰的图像），得到的参考图像就会损失很多高频成分，计算两者结构相似度（这里使用 SSIM 计算）的时候得到的数值就会比较小。

就是说，参考图像（经过低通滤波的）和原图的 SSIM 值越小，表示原图越清晰。

公式：$$NRSS=1-\frac{1}{N}\sum _{n=1}^{N}SSIM(i_n,j_n)$$其中，$N$ 表示图像中梯度信息最丰富的 $N$ 个图像块，原文是针对全图进行的清晰度分析，如果是要在聚焦的时候对焦点的某个区域进行分析的话，就只需要 $N=1$ 一个图像块就行了，这个公式也可以简单写成：$$NRSS=1-SSIM(i,j)$$ 只需要对焦点区域进行 NRSS 就行了。

因为也涉及到 SSIM，就简单的介绍一下，公式是：$$l(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1},c(x,y)=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2},s(x,y)=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}$$ 其中 $l(x,y)$ 是亮度比较，$c(x,y)$ 是对比度比较，$s(x,y)$ 是结构信息比较，然后整合起来：$$SSIM(x,y)=[l(x,y){]}^{\alpha }[c(x,y){]}^{\beta }[(s(x,y)){]}^{\gamma }$$具体就不多涉及了，可以看看参考文章。

然后看到这里，然后看看这篇文章（无参考图像的清晰度评价方法）里提到的 Reblur 的结构，是不是感觉很熟悉，不就是一个意思吗，就是使用低通滤波得到一个模糊的参考图像，然后和原图进行结构相似度的比较，得到一个评价指标。得亏那片文章还煞有介事得整出一个 Reblur 来。

• NRSS：一种针对图像模糊的无参质量评价指标

使用比较普遍的一些算法

基于自相关

Vollath’s F4

$$F=\sum _{M-1}\sum _{N}g(i+1,j)\cdot g(i,j)-\sum _{M-2}\sum _{N}g(i+2,j)\cdot g(i,j)$$

Vollath’s F5

$$F=\sum _{M-1}\sum _{N}g(i+1,j)\cdot g(i,j)-(M-1)\cdot N\cdot \bar{g}$$

基于统计

方差 Variance

$$F=\frac{1}{MN}\sum _M\sum _N\left|g(i,j)-\bar{g}\right|$$

归一化方差 Normalized Variance

$$F=\frac{1}{MN\cdot \bar{g}}\sum _M\sum _N\left|g(i,j)-\bar{g}\right|$$

基于直方图

熵 Entropy

$$F=-\sum _l{p}_l\cdot {\log }_2{p}_l$$其中 $p_l$ 是灰度值的相对频率。

log 直方图的方差（Variance of log histogram）

$$\begin{gathered} F=\sum _l(l-E_{\text{log}}(l){)}^2\cdot \log p_l \\ {E}_{\log }(l)=\sum _{l}l\cdot \log p_l \end{gathered}$$

基于图像差分

EOG（Energy of gradient）

$$F=\sum _{M-1}\sum _{N-1}\left({\left[g(i+1,j)-g(i,j)\right]}^2+{\left[g(i,j+1)-g(i,j)\right]}^2\right)$$

Robert

$$F=\sum _{M-1}\sum _{N-1}\left({\left[g(i+1,j+1)-g(i,j)\right]}^2+{\left[g(i+1,j)-g(i,j+1)\right]}^2\right)$$
感觉和 EOG 没有什么太大的区别

拉普拉斯能量梯度（Energy of image Laplacian）

$$F=\sum _{M-1}\sum _{N-1}{\left(g(i,j+1)+g(i,j-1)+g(i+1,j)+g(i-1,j)-4\cdot g(i,j)\right)}^2$$

相当于与拉普拉斯算子进行了一次卷积运算然后再平方：$$L=\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$$

Tenengrad gradient

$$F=\sum _M\sum _N\left(G_x^2(i,j)+G_y^2(i,j)\right)$$其中 $G_x$ 和 $G_y$ 是与 Sobel 算子的卷积。

python 代码

import cv2
import numpy as np

def tenengrad(gray_img: np.ndarray) -> float:
    gradient_x = cv2.Sobel(gray_img, cv2.CV_64F, 1, 0, ksize=3)
    gradient_y = cv2.Sobel(gray_img, cv2.CV_64F, 0, 1, ksize=3)
    return np.mean(np.sqrt(gradient_x**2 + gradient_y**2))

Brenner gradient

$$F=\sum _M\sum _{N-2}{\left|g(i,j+2)-g(i,j)\right|}^2\text{while}\left|g(i,j+1)-g(i,j)\right|\ge \theta$$

一阶高斯导数（First-order Gaussian derivative）

$$F=\frac{1}{MN}\sum _M\sum _N\left({\left(g(i,j)\cdot G_x(x,y,\sigma )\right)}^2+{\left(g(i,j)\cdot G_y(x,y,\sigma )\right)}^2\right)$$其中 $G_x(x,y,\sigma )$ 和 $G_y(x,y,\sigma )$ 是一阶高斯导数，且标准差为 $\sigma =\frac{\sqrt{3}}{2}d$

Squared gradient

$$F=\sum _M\sum _{N-1}{\left|g(i,j+1)-g(i,j)\right|}^2\text{while}\left|g(i,j+1)-g(i,j)\right|\ge \theta$$几乎和 Brenner gradient 一样，就是相邻像素选择不同。

Threshold absolute gradient

$$F=\sum _M\sum _{N-1}\left|g(i,j+1)-g(i,j)\right|\text{while}\left|g(i,j+1)-g(i,j)\right|\ge \theta$$

Absolute Tenengrad

$$F=\sum _M\sum _N\left(|G_x(i,j)|+|G_y(i,j)|\right)$$ 其中 $G_x$ 和 $G_y$ 是与 Sobel 算子的卷积。

基于峰值和谷值的深度

image power

$$F=\sum _M\sum _{N}g(i,j{)}^2\text{while}g(i,j)\ge \theta$$

Thresholded pixel count

$$F=\sum _M\sum _{N}s(g(i,j),\theta )\text{with}s(x,\theta )=\{\begin{array}{ll}0,& \text{ if }x\ge \theta \\ 1,& \text{ if }x<\theta \end{array}$$

各种算法的对比

这个是基于他们的数据集得到的结果，可能在不同数据集，各个算法的表现不一样。看起来效果最好的是 absolute tenengrad 。

参考文献汇总

算法论文出处

• NRSS：一种针对图像模糊的无参质量评价指标
• SMD：光学显微镜自动聚焦算法研究
• SMD2：一种快速高灵敏度聚焦函数
• EAV：中巴地球资源一号卫星多光谱扫描图象质量评价
• PAV：图像清晰度评价方法研究

代码实现

• ENVIIDL 实现 PAV：利用ENVIIDL实现图像清晰度评价——点锐度算法
• C++ 实现 PAV：EVA改进(点锐度算法)图像清晰度评价方法C++实现
• Matlab实现：11种图像清晰度评价函数附MATLAB代码
• C++实现：无参考图像的清晰度评价方法及实现源码

其他

• SSIM 讲解：SSIM (Structure Similarity Index Measure) 结构衡量指标+代码
• 15种常见的清晰度评价指标：An algorithm selection methodology for automated focusing in optical microscopy