变焦跟踪理论基础（如何在变焦过程中保持清晰）

自动变焦的理论依据

镜头是一种接收光信号并将光信号汇聚至感光元件的成像装置，按照焦距是否可以改变，分为变焦镜头和定焦镜头。变焦镜头的焦距在一定范围内可以连续变化，从而得到不同视场角、不同影像大小的图像。

镜头的变焦和对焦操作一般通过多枚镜片之间的相对运动实现，根据所处位置和功能不同，大致可将镜片分成三组，一组镜片称为一群，变焦镜头一般由以下部分组成：三群镜片、固定筒、凸轮结构曲线筒、光圈、快门、步进电机、光遮断传感器等。

根据镜头组成，在光轴上从物方到成像端，变焦镜头依次包括具有负屈光率的一群、具备正屈光率的二群和三群，不同镜片组可以沿着光轴运动，通过改变一群和二群之间的相对距离实现变倍的功能，驱动三群镜片沿着光轴运动可以达到对焦的效果。上图显示了三群镜片组之间的相对位置关系，其中G1、G2、G3 构成一群，G4、G5、G6 构成二群，G7 即为三群。

我们将不同的镜片群抽象成单个镜片，加上控制电机，绘制出最基本的光学变焦相机结构。如图所示，镜片1（一群） 和镜片2（二群） 构成变倍镜片组，镜片2（二群） 和镜片3（三群） 构成聚焦镜片组。镜片2 可大幅度移动，以完成变倍功能，镜片3 进行小幅度移动，完成聚焦功能，镜片2 和镜片3结合使用可实现聚焦近限之外的变焦摄像机的变倍和聚焦功能。其中镜片2 称为变倍镜片（Zoom 镜片），镜片3 称为聚焦镜片（Focus 镜片），除了镜片组外还有滤光片、光圈和传感器（Sensor）以完成滤光、进光量和图像输出等控制功能。

镜片和滤光片、传感器、光圈等结构构成了图像信息采集，完成光信号到电信号的转变；控制电机则构成了控制模块，完成变倍和焦距调整、控制进光量的功能。其中控制变倍镜片的变倍电机(Zoom 电机)、控制聚焦镜片的聚焦电机（Focus 电机）、控制采光量的光圈电机（Iris 电机）、控制滤光的滤光片电机（Ircut 电机）。由于镜片组的成像方式以及质量其决定着摄像机的诸多性能，如倍率、视场角、中心偏移、图像效果等，故不同材质、不同焦距、不同的尺寸和型号的镜片将具有不同的特性。

1. 基于距离信息的主动式变焦
   主动式自动变焦首先利用测距仪获取目标与成像透镜之间的距离信息。然后根据成像焦平面上目标的图像宽度和目标的实际宽度，计算出成像系统的当前焦距。最后，控制机械机构调整成像系统的焦距。
2. 基于图像信息的被动式变焦
   被动式变焦指不需要借助额外的机械结构和物理变量进行变焦指导，仅仅依靠目标在成像系统中所成图像的信息就能完成变焦操作，它是一种完全基于数字图像处理的技术。

传统自动对焦技术

传统的自动对焦技术从对焦原理的角度分析，可分为两类：一类是主动式对焦，通过测量镜头与被摄物体之间的距离来实现对焦，另一类是被动式对焦，摄像装置被动接受外界物体的光线，通过相关电子检测的方式调整焦距位置。

主动式对焦

主动式对焦主要通过测量镜头与被摄物体之间的距离来实现对焦。由高斯成像公式可知，在成像设备的任意焦距下，通过测量物距即可计算出像距，从而通过执行机构让成像系统处于满意的像距下，此时即可在感光平面上得到清晰的图像。测距法主要解决如何测量物距的难题，常见的物距测量方法有超声波测距法、红外测距法和激光测距法等。摄像机中为了实现测距法，一般装配有超声波发生器、红外发生器或者激光传感器等，而计算物距的方式主要是时间差测量法和三角测量法。

被动式对焦

焦点检测法是在镜头的焦点附近设置自动对焦微型组件，将焦点直接作为探测对象的一种对焦方式，应用在摄像机中的焦点检测法主要有两种，即反差检测法和相位差检测法。

反差检测法又称对比度法，**当被摄物体在感光平面由模糊逐渐清晰时，图像的边缘轮廓逐渐丰富且锐利，对应的灰度梯度也逐渐增大，对比度增大，反之则对比度下降。**利用这一原理，将两个光电传感器放置在成像芯片前后等距的位置，被摄物体发出的光线通过分光后同时照射在两个光电传感器上，得到两个灰度梯度值，当两个光电传感器输出的灰度梯度值相等或者接近时，说明所成的像正好落在感光平面上，即为对焦清晰状态，当两个光电传感器输出的灰度梯度值相差很大时，通过调节像距使之相差在很小的范围内，即可完成对焦。

相位差检测法是通过检测感光元件上像的偏移量来完成自动对焦的，当检测到两个受光原件的输出信号存在相位差时，对该相位差信号进行内部处理得到像距改变量相关的处理命令，然后控制执行机构调节至对焦清晰状态。

基于图像处理的自动对焦方法

离焦深度法（depth from defocus，DFD）

基于图像复原的离焦深度法：根据成像系统的点扩散函数，反向推演出当前模糊图像的原图；

基于模糊量估计的离焦深度法：通过采集极少量不同模糊程度的离焦图像，经过算法分析得到被摄物体的深度信息（距离信息），从而推算出镜头的清晰对焦位置，控制执行机构运行至该位置即完成对焦。

离焦深度法获取图像数量少，对焦速度相对较快，缺点是需要事先确定成像系统的数学模型，实际应用中光圈值和焦距难以精确获取，导致模型的精确度受到影响，进而影响对焦精度。

对焦深度法（depth from focus，DFF）

变焦跟踪(Zoom Tracking)

如何在整个变焦过程中一直保持图像的清晰度或焦点是变焦跟踪的主要挑战。 图1显示了变焦从广角变焦变为远角变焦时的变焦跟踪效果。 如图所示，当用户在缩放跟踪的情况下改变缩放时，设备保持对焦。 然而，在没有变焦跟踪的情况下，图像变得失焦，图像在变焦跟踪后由于自动对焦(AF)算法才最终对焦。

变焦跟踪机制

图2©详细介绍了变焦跟踪机制。 当变焦从广角变为远角时，变焦镜头焦距从 $F_{wide}$ 增大到 $F_{tele}$ ，而视角从 ${\varphi }_{wide}$ 减小到 ${\varphi }_{tele}$ 。 为了响应这个变化，在这个过程中，焦内平面（图像距离）应该移动。 对于距离d处的物体，$s_d\left(z_{\text{wide }}\right)$ 和 $s_d\left(z_{\text{tele }}\right)$ 分别定义为广角变焦和远角变焦时的像距。 因此，当变焦从广角改变到远角时，为了保持图像清晰度，图像传感器必须从 $s_d\left(z_{\text{wide }}\right)$ 的广角焦内平面移动到 $s_d\left(z_{\text{tele }}\right)$ 的远角焦内平面。

由于变焦镜头焦距通过变焦马达改变，并且图像传感器由聚焦马达移动，所以变焦跟踪与变焦和对焦马达位置有关，其通常通过遵循所谓的“跟踪曲线”来实现。图3中的曲线显示了不同物体距离的变焦马达位置与对焦马达位置之间的关系。

如果电机在变焦操作期间跟随轨迹曲线移动，图像将始终保持清晰。 图3显示了18×变焦镜头的轨迹曲线。 每条迹线都对应着一定的物距。因此，跟踪曲线的估计是变焦跟踪方法中的一个关键问题。 这种估计的一个主要挑战是一对多映射问题[11]，当变焦从广角变为远角时，这个问题变得很麻烦。

一对多映射

图中列举了1 米、2 米、5 米和无穷远物距下20 倍变焦镜头的变焦跟踪曲线，横轴表示变焦电机位置，纵轴表示对焦电机位置。以光遮断传感器位置为原点，以步进电机运行一步带动镜片移动的距离为最小刻度单位，实测得到镜头内变焦电机与对焦电机的可移动范围，变焦电机从1 倍位置到20 倍位置的总行程范围为[-1200, 102]，对焦电机总行程范围为[-300, 400]。

分析图4-2 中的曲线，发现变焦电机在[-1200, -668]的范围内曲线呈线性变化，称为线性区；**而在[-668, 102]范围内，曲线呈非线性变化，称为非线性区域。**变焦跟踪曲线在线性区域基本重合，各曲线之间的距离差别很小，随着变焦电机往长焦端（tele-angle）移动，各条曲线逐渐分离，曲线之间的距离越来越大。

由此可知，如果变焦跟踪前的变焦电机位于长焦端附近的区域且对焦清晰，则可以通过线性插值的方法确定一条评估跟踪曲线，对焦电机的位置可以沿着这条评估跟踪曲线调节；如果初始变焦位置位于广角端（wide-angle）附近，则由于各条曲线重合，当变焦电机往长焦端移动时，各条曲线逐渐分离，在没有任何策略的情况下，很难确定一条评估跟踪曲线。初始位置为广角端附近的变焦跟踪问题是变焦跟踪算法的核心问题，称为“一对多映射”问题。

现有变焦跟踪方法

1. 存储表方法
2. 几何方法：几何变焦跟踪(GZT)、自适应变焦跟踪(AZT)、简化变焦跟踪（RZT）……
3. 机器学习方法：相关变焦跟踪(RZT)、预测变焦跟踪(PZT)、……

查表法

存储表（查表）方法：该方法在内存中存储各种物体距离的大量跟踪曲线，通过在存储的曲线中选择最接近的曲线来估计真实迹线。 然而，这种方法在实践中并不经常使用，因为它需要大量的内存。

几何变焦跟踪法

几何变焦跟踪法（Geometric Zoom Tracking，简称 GZT）。GZT仅根据近、远目标的两条轨迹曲线，通过线性插值得到轨迹曲线的估计值。 这种方法的一个缺点是，随着变焦从广角变到远角，估计的轨迹曲线与实际轨迹曲线之间的偏移逐渐增大。

GZT实际上使用所谓GZT焦点比来估计对焦马达位置：

$$\frac{F_{\text{start }}^d\left(z_{\text{init }}\right)-F_{\text{true }}^{\text{far }}\left(z_{\text{init }}\right)}{F_{\text{true }}^{\text{near }}\left(z_{\text{init }}\right)-F_{\text{true }}^{\text{far }}\left(z_{\text{init }}\right)}=\frac{F_{est}^d(z)-F_{\text{true }}^{\text{far }}(z)}{F_{\text{true }}^{\text{near }}(z)-F_{\text{true }}^{\text{far }}(z)}$$

基于该公式，可以得出估计位置的公式：

$$F_{\text{est }}^d(z)=\{\begin{array}{ll}{F}_{\text{start }}^d\left(z_{\text{init }}\right)& z=z_{\text{init }}\\ \left(\frac{F_{\text{start }}^d\left(z_{\text{init }}\right)-F_{\text{true }}^{\text{far }}\left(z_{\text{init }}\right)}{F_{\text{true }}^{\text{near }}\left(z_{\text{init }}\right)-F_{\text{true }}^{\text{far }}\left(z_{\text{init }}\right)}\right)\ast \left(F_{\text{true }}^{\text{near }}(z)-F_{\text{true }}^{\text{far }}(z)\right)+F_{\text{true }}^{\text{far }}(z)& z\ne z_{\text{init }}\end{array}$$

通过其得到的GZT估计曲线如图所示：

自适应变焦跟踪法

自适应变焦跟踪法（Adaptive Zoom Tracking ，简称AZT）。AZT是GZT的改进方法，该方法同样仅存储了近物距和远物距两条跟踪曲线，在变焦电机的整个行程内选定一个位置作为线性区和非线性区的分界点，当变焦电机在变倍过程中走到分界点时，让变焦电机暂停，然后调用对焦搜索算法寻找该位置图像最清晰的点，以此来减少跟踪误差。

AZT 算法和 GZT 算法的不同之处在于：向长焦端的变焦操作经过边界点时的策略 选择不同, GZT 算法在边界点没有任何修正措施, AZT 算法在边界点执行对焦搜索算法 得到清晰点, 此时的对焦电机位置记为 $F_d^{\text{afboundary }}\left(z_b\right)$, 此时更新线性揷值公式(4-1), 将公式中初始点变焦电机位置 $z_{\text{initial }}$ 换成边界点 $z_b$, 将初始对焦清晰点位置 $F_d^{\text{afstart }}\left(z_{\text{initial }}\right)$ 换成 $F_d^{\text{afboundary }}\left(z_b\right)$, 在之后变焦电机运行在非线性区时, 采用更新后的公式计算新的评估曲线, 如公式所示:
$$F_d^{\text{azt\_estimate}}\left(z_{}\right)=\{\begin{array}{lcc}& F_d^{\text{afboundary }}\left(z_b\right),& z=z_b\\ & \left(\frac{F_d^{\text{afboundary }}\left(z_b\right)-F_{\text{far }}^{\text{true }}\left(z_b\right)}{F_{\text{near }}^{\text{true }}\left(z_b\right)-F_{\text{far }}^{\text{true }}\left(z_b\right)}\right)\times \left(F_{\text{near }}^{\text{true }}(z)-F_{\text{far }}^{\text{true }}(z)\right)+F_{\text{far }}^{\text{true }}(z),& z>z_b\end{array}$$
观察图 4-5 中 GZT 和 AZT 两种算法得到的评估跟踪曲线, AZT 算法得到的跟踪曲线$F_d^{\text{azt\_estimate }}(z)$在非线性区域的跟踪精度高于 GZT 评估跟踪曲线$F_d^{\text{gzt\_estimate }}(z)$。

简化变焦跟踪法

简化法（Reduced Zoom Tracking，简称RZT）分别就查表法和GZT 方法的不足之处进行改进，在曲线存储数据量方面比查表法有了明显的改进，在非线性区域的跟踪精度方面优于GZT 方法。

选取有代表性的9 个不同物距，分别获取9 种物距下的变焦曲线，为了减少数据量，将变焦电机的整个行程范围分为三个部分：线性区域1，线性区域2，非线性区域，三个区域分别采用不同的方式存储数据。在线性区域1，不同曲线之间的差别很小，从9 条曲线中按照一定的规则仅选择3 条曲线；在线性区域2，曲线之间的差别相比于区域1 更为明显，与区域1 的数据划分方式类似，从9 条曲线中选取4 条曲线；非线性区域，不同曲线之间的差别较明显，此时将9 条曲线的数据都存储起来。

预测变焦跟踪法

预测变焦跟踪法（Predictive Zoom Tracking，简称PZT）通过建立模型预测变焦系统的输出情况，有两种类型的预测模型：外因输入自回归模型（Auto-Regressive Model with Exogenous Input ，简称ARX）和循环神经网络（Recurrent Neural Network，简称RNN）模型，模型使用的参数是变焦系统当前的输入状态和已经记录的历史输出状态。通过模型的选择和训练，找到能够使真实曲线与评估曲线之间的误差最小化的最佳模型参数，然后在系统初始化变焦电机的输入状态下，采用最佳模型参数来生成评估跟踪曲线。

相关变焦跟踪法

相关法变焦跟踪法（Relational Approach to Zoom Tracking，简称RLZT）通过建立关系曲线来获取特定物距下的评估跟踪曲线，上文提到的算法都是在物距固定的条件下研究变焦电机与对焦电机位置之间的关系，而RLZT 算法将变焦电机位置固定，转而研究物距和对焦电机位置之间的对应关系。在初始变焦位置$z_{initial}$ ⁡执行对焦搜索算法后得到对焦电机清晰点位置$F_d^{afstart}(z_{initial})$，开始变焦操作后首先通过物距评估模块获得一个评估物距区间[$d_1$，$d_2$]且$d_1<d<d_2$，然后基于评估物距得到对应的跟踪曲线$f_z(d_1)$和$f_z(d_2)$，利用$f_z(d_1)$和$f_z(d_2)$得到评估对焦电机位置，对每一个变焦电机位置重复这个过程，最终得到一条估计跟踪曲线。

反馈变焦跟踪法

反馈法（Feedback Zoom Tracking，简称FZT）是在传统的GZT 估计的基础上引入反馈控制器，通过PID 闭环反馈控制的方法对跟踪曲线进行修正，在变焦系统建模困难的情况下，PID 控制器在消除跟踪误差方面往往能够达到更好的效果。

FZT 算法的实现过程大致分为三个阶段：

1. 第一阶段由GZT 方法的线性插值公式确定一条初始评估跟踪曲线，结合当前状态信息确定反馈控制长度（feedback period length，fp）和聚焦电机的探测步长（probe step， ps）。 $\mathrm{fp}$ 意即变焦电机每运行fp 步长之后，就修正一次跟踪曲线， $\mathrm{ps}$ 是在距离当前对焦电机位置处前后ps步的两个位置作为探测点$p_1$和$p_2$；
2. 第二阶段计算$p_1$和$p_2$两个位置相对应的清晰度评价值$f_{v1}$和$f_{v2}$，以此估算修正方向和修正距离；
3. 第三阶段，更新线性插值公式，得到修正后的跟踪曲线。

FZT使用的探测点对称的位于$p_0$两端，两个探测点的位置由下式得到：$p_1=p_0+ps$，$p_2=p_0-ps$，其中$p_0$是估计跟踪曲线上对应当前变焦电机位置的点。探测步长参数ps控制着算法的检测边界。聚焦电机从$p_1$移动至$p_2$，并获得两点处相应的聚焦值$e_1$和$e_2$ 。由于它们到点$p_0$的距离相同，探测点$p_1$和$p_2$应具有近似相同的聚焦值。然而，因为估计跟踪曲线经常偏离事实跟踪曲线，因此采样得到的聚焦值$e_1$和$e_2$ 通常是不等的。通过研究这两个值之间的关系，可以确定变焦跟踪曲线的实际位置。$e_2>e_1$表示探测点$p_2$相比探测点$p_1$更接近事实跟踪曲线，因此，估计跟踪曲线应朝$p_2$方向修正以接近事实跟踪曲线。与此相反，如果$e_1>e_2$，则估计跟踪曲线应朝$p_1$方向修正。

在跟踪曲线修正步骤中，修正程序通过将当前估计跟踪曲线中下一步的估计位置e p 移动到r p 来完成修正。移动后程序将用位置r p 在下一步中求取新的 GZT 聚焦比率 k，并刷新整个估计跟踪曲线。修正中所用的修正距离$\Delta S$由PID控制器计算得到。一般选用PI控制器来计算修正距离提高其精度，如图所示：

除反馈周期 $\mathrm{fp}$ 外, FZT算法还有其他几个可变参数。在反馈区域内，电机沿直线运动。反馈区域长度 $\mathrm{fa}$ (包括前端区域长度 $\mathrm{fra}$ 和后端区域长度 $\mathrm{bka}$ ) 影响着电机 运行轨迹的波动程度。一个大的 $\mathrm{fa}$ 值会降低调整的斜率，减少轨迹的脤荡。而在反馈周期的其他部分中，电机应依据当前估计跟踪曲线运动。

FZT 算法能够较精确的完成从广角端到长焦端的变焦跟踪任务，对于运动场景和变焦过程中物距的切换也有较强的适应性。但是FZT 使用PID 模型参数计算修正步长，PID 参数的调节和确定是个难题，实际过程中很难找到最优解，容易出现参数选择不精确导致变焦过程波动性大，导致现有的FZT 算法在稳定性方面仍有不足。另外，算法在探测点位置让变焦电机暂停运行，获取前后两个对焦电机位置的清晰度值，这个过程中可能会消耗一定的时间，这会导致整个变焦过程的不连续，有明显的卡顿现象，变焦速度上明显劣于上述五种方法。

改进的反馈变焦跟踪法

FZT 法在视频监控摄像机上的成功应用，给相关领域的学者提供了一种全新的思路，之后陆续出现了几种改进的反馈法（Improvement Feedback Zoom Tracking method，简称IFZT）。总结来看，几种改进的反馈法一方面改进跟踪曲线库，选取多于两条的跟踪曲线来提高跟踪精度，另一方面采用不同的反馈控制策略提高曲线修正的准确率。

IFZT 法首先从很多种物距的跟踪曲线中选择若干条曲线，组成算法的跟踪曲线库，然后在变焦操作时选择最贴近当前对焦电机位置的两条跟踪曲线，位于对焦电机位置上部的称为上边界曲线，位于下部的则称为下边界曲线；然后，将上下边界曲线应用到线性插值公式中，获取得到初始评估跟踪曲线；最后，当变焦电机走到探测位置时，对焦电机在初始评估跟踪曲线上下试探，根据图像清晰度值的反馈信息确定评估曲线的修正方向和修正距离，以此对评估曲线进行修正即可。

视频变焦跟踪中的问题

考虑实际的视频变焦跟踪，其存在很多不定因素，考虑两种存在问题的典型场景：

1. 变焦时的运动物体，例如图(a)由广角变为远角时，汽车正在移动。
2. 变焦时物体在变化，例如图(b)由广角变为远角时，交换机灯在闪烁。

参考文献

[1]:曹永鹏. 高清一体化摄像机的自动对焦技术研究与实现[D].西南交通大学,2018.

[2]:邹腾跃. 复杂环境目标检测与跟踪关键技术研究及应用[D].华中科技大学,2013.