基于图像处理的自动对焦技术研究--文献阅读笔记pt1

文献一：熊锐--基于数字图像处理的显微自动对焦技术研究

1.基于图像处理的自动对焦方法主要分为离焦深度法和聚焦深度法。

2.聚焦深度法的三个重要环节：聚焦评价函数、聚焦窗口、聚焦搜索算法。

3.基于数字图像处理的显微自动对焦技术的原理：首先通过光电成像器件获取目标的清晰图像，然后将获取的图像数据传入计算机，经图像处理算法判别图像清晰度后，计算机根据获取图像的清晰度差异控制机械结构的运动，并最终找到最佳成像位置。

4.手动对焦方法无法满足高精度与稳定性的要求；测距法、对比度检测法、相位检测法等自动聚焦方法需要额外的光机设备，使得对焦系统体积庞大，结构复杂，不符合仪器轻便化的发展趋势。基于数字图像处理的自动对焦法仅需获取的图像信息就能实现自动对焦，相比以上方法，该方法具有结构简单、易于集成、对焦精度高的优点。

5.自动对焦分类：

根据是否具有主动发射系统，分为被动对焦和主动对焦；

根据是否测距，分为测距法和像检测法；像检测法又分为对比度检测法和相位检测法。

6.国外研究现状：

1967，基于图像复原的离焦深度法；

1971，利用图像调制阈值梯度的自动对焦算法；

1975，VAF，采用三角测距法，属于被动式对焦，严重依赖外部光线；

1976，利用光电导单元检测对比度；

1978，SX-70 Sonar，测距法，主动发射超声波对焦；

1979，佳能AF35M，测距法，主动发射红外线对焦；

1981，Pentax ME-F，相位检测法，TCL系统；

2005，利用图像矩调焦的自适应自动对焦；

2009，在多个深度位置处计算获取图像的定量品质因数（FOM），并与深度近似的经验函数（例如高斯，多项式）拟合，然后将确定的拟合函数的峰值作为焦点位置的估计值，合计不超过三个图像数即可计算焦点位置；

2013，将图像归一化方差与离散余弦变换进行组合作为聚焦评价函数；

2017，在数字全息显微术中使用深度学习作为自动对焦方法，该方法的最大优点是，在训练完成后，可以通过仅使用全息图平面中的单个平面而无需任何重构来获得对焦平面；

2019，提出了一种卷积神经网络模型，可以从离焦模糊图像中预测清晰的荧光显微图像以及焦距。

7.国内研究现状：

2005，以图像梯度加阈值求和的清晰度评价函数；

2007，基于边缘梯度的自动聚焦算法。该方法首先通过设置阈值的方式将图像背景与边缘分开，然后对中心像素的一系列像素灰度值排序比较大小，以确定边缘方向，从而在边缘方向分配较大的权值，以加强边缘的贡献；

2009，以图像边缘灰度变化率为评价指标的清晰度评价算法。该算法首先计算出每一行的灰度变化率，最后以图像所有行灰度变化率的均值作为评价指标；

2012，研究了强散粒噪声下的自动聚焦问题。在图像经中值滤波后采用分水岭算法进行处理，并将处理后的小区域像素值以平均值代替，最后采用SML聚焦评价函数计算灰度梯度值；

2014，使用电子可调透镜（ETL）的快速变焦光声显微镜（VF-PAM），其聚焦深度可以根据电信号变化并连续移动；

2016，去除饱和像素的清晰度评价算法；

2017，将重构图像的幅度差平方作为聚焦评价函数，并将聚焦平面定位在其极值处，而不取决于图像的清晰度。通过使用数值模拟和光学实验，证实了幅度差（DIF）方法的有效性；

2018，基于图像直方图特征函数的聚焦评价函数；

2019，利用卷积神经网络（HH-net）提取图像高级抽象特征，以此替代传统的聚焦评价函数，实现显微图像清晰度评价及离焦量预测；

2020，自适应高斯插值方法并使用多众数平均值作为对焦感兴趣区域的对焦深度值，修复了液晶透镜成像系统基于模糊量的离焦深度对焦法所得深度图中存在的两种错误，最后使用经一阶线性拟合后的光焦度曲线进行对焦，大大减少了液晶透镜测量所需时间。

8.显微镜成像原理

  依据二次成像原理，先经物镜而成倒立放大实像，再经目镜二次放大后由图像探测器接收。

  显微镜主要参数包括数值孔径、放大率、分辨率。数值孔径代表了显微镜头收集光线的能力，其计算公式如下：，其中，n为物空间介质折射率，cita为物镜光轴与最外光线夹角；若物镜，目镜的放大率分别为a、B,则显微镜总放大率M=aB；显微镜分辨率是指显微镜能分辨的最小距离：，renmada为显微镜光源波长，即显微镜可通过减小波长和增大数值孔径来提高分辨率。

9.光学成像模型

  可将光学成像系统简化为单个薄透镜成像：

  p为物面上一点，u为p点到透镜中心的距离，v为聚焦像点p‘到透镜中心的距离，s为透镜中心到图像探测器的距离，D为透镜孔径直径，R为p’落在图像探测器上的模糊像点半径。根据几何光学性质，薄透镜成像满足高斯公式：。当光学系统精准聚焦时，物像关系满足上式，成理想像，像点为p‘。当成像系统被破坏，即u或v的值改变时，将会在探测器上形成一个模糊像点，模糊像点的形状与透镜孔径类似，大小与透镜孔径成一定比例。探测器与聚焦平面的距离越大，即图中s-v的值越大时，在探测器上形成的模糊像点也越大，光学系统离焦越严重。当光学系统处于离焦状态时，由上图相似三角形可知，以下关系式成立：

  由式（2.6）可知，当v=s时，R=0，此时像面恰好在焦平面处；当v＜s时， R＞0，像面在焦面后方；当v＞s时，R＜0，像面在焦面前方。因此，可通过改 变u、s、f的值使像面位于焦面处而成清晰像。由于大多数光学系统通常是定焦系统，实际运用中大都是通过改变u与v的值实现自动对焦。

10.点扩散函数与光学传递函数

  点扩散函数(point spread fuction,PSF)是指光学系统成像时，物空间一点发出的光通过光学成像系统在像空间上的光强分布。光学传递函数(optical transfer function,OTF)是点扩散函数的傅里叶变换。即点扩散函数与光学传递函数分别从空间域与频率域描述了光学成像系统的成像特性。

  任意成像物体可视为呈二维分布的发光点的集合，因此物体的像可视为分布在空间的点扩散函数的叠加。即可把物体的像理解为物体图像与成像系统点扩散函数的卷积，由卷积的原理可知，卷积将会造成成像过程中原始图像细节丢失，这也就解释了图像模糊的原因。

  对于理想几何光学，可以认为模糊圆外部亮度为零，而内部亮度是均匀不变的，弥散圆近似为等光强的光斑，此时的点扩散函数表达式为:

  在实际应用中，通常存在衍射、像差等其他因素，因此，常用二维高斯函数来近似点扩散函数，近似后的表达式如下：

  由上图可知，模糊圆半径R越大，系统的截止频率越低，即成像系统的点扩散函数具有低通滤波器的功能。当光学系统准确聚焦时，R很小，系统截止频率很高，可以允许高频分量通过，图像细节清晰。反之，当光学系统离焦时，截止频率变低，高频分量减少，图像变得模糊。这也就解释了高频分量与图像清晰度的关系。同时，也可以发现，图像离焦量的大小是如何在空间域与频率域上体现的，即在空域上表现为模糊圆的大小，而频域上则表现为高频分量的多少。

11.成像系统的景深与焦深

  景深是指当成像系统固定时，物体能够清晰成像的物空间深度，即在该深度范围内随意移动物体，物体成像清晰度几乎不会受到影响。显微系统景深计算公式如下：

  焦深是指当成像系统固定时，物体成清晰像的像空间深度，通俗理解就是成像清晰时，像面能够移动的距离。焦深的计算公式如下所示：

  景深和焦深常用来指导自动对焦中搜索步长的选取。最大搜索步长不能超过光学系统的景深或焦深，否则无法获得物体的正焦像，而最小移动步长不能小于景深或焦深的二分之一，以保证最佳成像位置的唯一性。光学系统景深与焦深的关系如图：

12.自动对焦方法分类

  主动式对焦需要额外的有源设备，导致系统复杂，体积庞大，集成度低；此外，当作用距离较长或物体对信号具有强烈的吸收时，对焦成功率较低；

  视频信号分析法利用了清晰图像高频信号的电平幅度大，模糊图像高频信号的电平幅度小的原理实现自动对焦；对比度检测法检测像的轮廓；相位检测法检测像的偏移。上述三种方法不需要额外的信号发射设备，但通常需要额外的检测设备。比如对比度检测法需要在距离正焦面相同位置处安置两个光电探测器，通过比较两个探测器信号的对比度来指导自动对焦，当两个探测器输出结果相等时，此时的像面距两个探测的距离相等，即刚好在正焦面处，对焦成功；

  数字图像处理法仅通过获取的图像信息就可实现自动对焦，无需额外的光电检测装置，系统简单，集成度高。

13.基于图像处理的自动对焦方法

  首先通过CCD/CMOS采集到目标图像，然后将采集到的图像送入中央处理器，处理器会在选定的聚焦区域内分析图像特征，提取图像的频率、梯度等信息，以此来判断此时的离焦状态，最后中央处理器会根据不同的离焦状态来执行不同的搜索策略，以更快的搜索到正焦面。

（1）离焦深度法（DFD）

  基于图像复原的离焦深度法和基于离焦量估计的离焦深度法两种。

  基于图像复原的方法首先依据模糊图像中的重要特征来估计光学系统的点扩散函数，再利用图像退化模型对正焦位置处的相关参数进行反演计算，最后根据计算出的相关参数找到最佳聚焦位置。该方法存在的一个关键问题是根据图像中的特征估算出的点扩散函数并没有很强的泛化能力，无法对所有物体都能很好的聚焦，应用范围具有一定的局限。

  基于离焦量估计的方法，通常仅需要2-3幅模糊程度不同的图像，就可估算出成像物体的距离信息，根据估算出的距离参数即可完成自动对焦。该方法试图建立离焦量与系统成像参数间的关系，这样就可根据不同的离焦量而快速实现对焦。但这种方法需要预先知道系统的相关参数，离焦模型建立复杂，对焦精度严重依赖于所建立的离焦模型，速度虽然快但调焦精度较低。

（2）聚焦深度法

  是一种基于循环搜索的自动对焦方法，通过不断比较图像清晰度找到聚焦位置，对焦流程如下图所示。首先是显微成像系统采集目标物图像，然后将图像信息送入PC机或嵌入式系统计算分析；由于目标通常不会占据整幅图像，同时考虑到对整幅图像提取图像特征运算量较大，通常会在图像中选定一 个聚焦窗口，在选定的聚焦窗口内计算图像的聚焦评价函数值；此后系统会根据图像间聚焦评价函数值的差异而采用不同的搜索步距，最后由电机控制系统控制显微成像系统的位置，上述过程将会一直循环执行，直到获取最清晰图像为止。

  聚焦深度法是集光机电算为一体的闭环控制过程，该过程需采集处理多幅图像，采集图像数量越多，对焦时间越长，精度越高。核心主要包括聚焦窗口的选取、聚焦评价函数的选择、搜索算法对步进电机的反馈控制这三部分。

聚焦窗口的选取

  一个好的聚焦窗口选取原则是，在减小窗口的同时尽可能多的包含目标，以减小背景信息的干扰。然而，由于目标大小和位置的不确定性，若聚焦窗口选择过大将不可避免的引入背景信息，过小则不能完全包含目标。

聚焦评价函数的选择

  聚焦评价函数是自动对焦算法中核心部分之一，直接参与对图像模糊程度的判断，模糊图像在空域上表现为灰度对比度下降，在频域上表现为高频分量减少， 聚焦评价函数就是通过提取图像的频率、灰度梯度等相关特征来判断图像清晰度的。理想的聚焦评价函数需满足如下特征：无偏性、单峰性、灵敏度高、实时性好等，即聚焦评价曲线仅有一个全局极值且恰好对应于正焦位置，在极值两侧曲线分别单调增加和单调减小，在正焦位置附近对焦区间小灵敏度高，算法时间复杂度低，满足自动对焦的实时性要求。

极值搜索算法

  负责对成像正焦位置的搜索，通常分为两个对焦搜索过程，即粗对焦大步长搜索，精对焦小步长微调，步距的大小参考景深确定。极值搜索算法的目标就是使显微镜头在步进电机的带动下不断移动，直到图像成像最清晰为止，且该过程要求尽可能快，搜索到的正焦平面位置尽可能准。

14.聚焦评价函数的研究

  清晰图像在空域上表现为细节丰富、边缘轮 廓清晰，频域上则以高频分量的多少来体现图像的清晰度，因此可通过计算图像 的灰度梯度和高频分量的多少来评价图像清晰度，常见的空域类评价函数和频域 类评价函数就是运用上述原理来评价图像清晰度的。

（1）空域类聚焦评价函数

原理：图像沿边缘方向灰度变化平缓，垂直于边缘方向灰度变化剧烈，清晰图像具有更锐化的边缘细节，相较于模糊图像有更大的灰度梯度，通过计算图像的灰度梯度来评价图像的清晰度。

SMD函数：为图像x方向上相邻像素灰度值之差的绝对值与y方向上相邻像素灰度值之差的绝对值的和，通过这种方式在聚焦窗口内对所有的像素灰度值计算一遍再累加，即为图像的聚焦评价函数值。若f(x,y)为图像在图像上某点(x,y)处的灰度值，则SMD函数表达式如下：

Roberts函数：计算对角线方向的灰度梯度值，对45度方向灰度变化明显的图像评价效果较好，但对噪声较敏感，在受噪声干扰严重的场景下可能无法有效识别灰度值变化缓慢的边缘。表达式如下：

Sobel函数：在计算出x方向和y方向的灰度梯度变化后，再相加取绝对值。其加强了中心像素上下左右四个方向的权重，在一定程度上能抑制噪声，表达式如下：

Tenengrad函数：在Sobel函数的x方向和y方向的梯度基础上求平方运算，并利用了阈值T限定梯度计算范围，表达式如下：

Brenner函数：仅考虑x方向上的灰度梯度变化，计算相差两个单位像素的梯度差，可以理解为二阶梯度。同时，由于该函数进行了平方运算，加强了边缘的贡献，和Tenengrad函数相比不需要单独设置阈值T。表达式如下：

Laplace函数：与上述的一阶微分函数不同，Laplace函数是一种二阶微分算子，掩模模板为：

；将上述算子与原图像f(x,y)卷积得梯度矩阵G(x,y)，得表达式为：

SML函数：计算图像水平、竖直两个方向的二阶差分绝对值之和。具有较好的抗噪性能，鲁棒性较好，适用于易受环境干扰的情形，其表达式为：

FSWM函数：频率选择中值滤波的简称。通过对3个像素灰度值进行中值滤波，既抑制了背景噪声，同时又提取了图像的灰度梯度信息。表达式如下：

能量梯度函数：先分别计算x方向和y方向上相邻像素的灰度值之差，再对这两个方向其求平方和，表达式如下：

（2）变换域类聚焦评价函数

上述聚焦评价函数皆是在空间域，通过计算图像的像素灰度梯度来评价图像的。前述理论分析表明，清晰图像边缘细节丰富，频域上包含较多的高频分量，因此，可通过对图像做傅里叶变换，计算变换后高频分量的多少，来区分图像的 清晰度，以上就是变换域类聚焦评价函数的基础。变换域类聚焦评价函数目前主要有以下几种：离散傅里叶变换法、离散余弦变换、二维离散小波变换等。

离散傅里叶变换（DFT）法：若f(x,y)代表图像的灰度信息，对于一幅长宽分别为M、N的图像，其离散傅里叶变换如下所示：

图像经二维离散傅里叶变换后，对应的频率分布如下图所示：

清晰图像相较于模糊图像拥有更多的高频分量，因此可通过计算图像高频分量的多少来表征图像清晰度，实际应用中，为了突出图像的高频成分对图像清晰度的贡献，通常忽略直流成分，即当u或者v为零时不加入计算。同时，还会对图像的频域做加权处理，加权系数为：根号下（u^2+v^2），可以发现，加权系数为图像频谱图中某点到频谱中心的距离，即离中央位置越远加权系数越大，也就是说高频分量拥有更大的加权系数，以此加强了高频成分对图像清晰度的贡献。加权后的聚焦评价函数如下：

离散余弦变换：和基于离散傅里叶变换相比，经离散余弦变换后的结果中无虚部，仅含有余弦项，因此得名离散余弦变换，可以看作是一种特殊的傅里叶变换。由于在离散余弦变换中仅含有实数项，相比离散傅里叶变换计算量小，同时其仍然包含图像的频域信息，可表征图像的清晰度，因此，离散余弦变换比离散傅里叶变换更具优势。

离散余弦变换虽仅有实数项，计算量相对较小，但若对整幅图像进行离散余弦变换可等效于求整幅图像的方差，这会忽略掉图像局部高频分量，在某些情形下并不能完全反应图像的清晰度差异。

二维离散小波变换：小波变换具有良好的局部化特性，通过在不同频率下分解图像信息，聚焦到图像频域的细节成分，可得到图像的任意细节逼近，被誉为信号分析领域中的“数字显微镜”。傅里叶变换是以正弦函数为基础函数的一种频域变换，小波变换是基于一系列具有变化频率和有限时间的小型波，具有多分辨率分析的特性。

波函数在水平、垂直以及对角线方向的高频分量。下式定义了一个尺度和平移基函数：

那么，对于一幅大小为M×N的图像f(x,y)，其二维离散小波变换的表达式为：

从上述分析可知，基于二维离散小波变换的聚焦评价函数是先将图像分解成不同频率、不同方向的子图像，然后再对分解后的高频子图像进行处理，以此判断图像的清晰度。由于小波变换能够获取到聚焦过程中图像的任意细节，因此，该聚焦评价函数能够区分出轻微离焦的图像，对图像清晰度变化比较敏感。 但由于需要对图像进行小波分解，计算量较大，该类函数在对聚焦速度要求较高 的场景中应用较少。

（3）信息熵类聚焦评价函数

清晰图像具有较大的灰度分布范围，信息量大，熵值大，模糊图像灰度分布范围较小，熵值小。表达式如下：

由于基于信息熵的聚焦函数受外界噪声、光照等因素影响较大，实际应用中很少使用。

（4）统计学类聚焦评价函数

清晰图像边缘轮廓清晰，灰度值分布区间大，模糊图像边缘模糊，边界灰度值差异小，灰度值分布区间小，因此，可以通过统计直方图的灰度分布特征来表征图像清晰度。

Range函数：利用直方图中灰度带大小的变化范围来表征图像清晰度，表达式如下：

Vollaths函数：是一种基于自相关的函数，能够表征空间两点的相似性关系。 清晰图像边缘与背景对比强烈，像素点之间相关性较弱，模糊图像由于边界不明显，像素点之间的相关性较强。因此，清晰图像的Vollaths函数曲线顶部较为尖锐，模糊图像的Vollaths函数曲线顶部则较为平缓。表达式如下：

Variance函数：利用清晰图像比模糊图像灰度差异更大的特点来表征图像清晰度，表达式如下所示：式中，u为图像灰度的平均值，若图像大小为M x N,则u的表达式如下：。

总结：变换域类聚焦评价函数需要对图像进行频域变换，对焦精度高，能够区分轻微离焦的图像，但计算量大；信息熵和统计学类聚焦评价函数，灵敏度低，不确定度大，易受环境的影响，实际应用较少；空域类聚焦评价函数仅通过计算图像相邻像素的灰度梯度来评价图像清晰度，灵敏度不如变换域类聚焦评价函数，但此类函数计算原理简单，效率高，稳定性好，是目前应用最多的一类聚焦评价函数。