Learning regression and verification networks for long-term visual tracking 论文笔记

本文的主要工作如下：1）提出了一种新的长期跟踪框架，将离线学习的回归网络与在线更新的验证网络相结合。回归模型以候选方案为目标，验证模型以目标识别为目标。2）提出了一种新的面向对象回归网络，生成一系列与被跟踪对象相似的候选对象，该网络具有离线学习能力强、处理内在外观变化能力强的特点。3）设计一个有效的置信度来确定目标是否存在，并使跟踪器在局部搜索和全局搜索之间动态切换。
一、本文的动机
       针对长期目标跟踪的挑战，LCT和PTAV跟踪器只是在一个局部搜索区域内对目标进行跟踪和重新检测，在目标离开视野并再次出现后，无法成功地重新捕获目标。CMT和FCLT方法只对整个跟踪过程利用单一的匹配或分类模型，这使得跟踪器容易因在线变化而漂移。MUSTer算法利用集成模型分别处理短期和长期场景，但其性能由于采用了手工特征而不能令人满意。所以针对这些问题，作者提出了一个基于深度学习的长期跟踪器，该跟踪器集成了回归和验证网络。
二、实现
       回归网络R回归一系列与被跟踪对象相似的边界框，验证网络V验证选定的候选对象。在单个网络中学习匹配函数和回归函数，将模板图像与搜索图像中的每个候选区域进行密集比较，并回归出于目标相似的边界框。匹配函数是一个相似度度量，回归函数对位置信息进行编码，把离线训练的回归网络R评价的最相似的那些区域收集到一个候选池中。然后由在线学习的验证函数V去进一步过滤跟踪过程中出现的干扰，如果将最相似的一个分类为前景，则建议跟踪器将它作为当前帧的跟踪结果，否则，验证函数V从相似性得分高于其他前景的候选池中选择前景候选作为跟踪结果。当回归函数R和验证函数V都不能同时找到具有高相似度和分类分数的候选对象时，跟踪器会在整个图像中搜索，除非找到一个对R和V都有说服力的候选，否则跟踪认为当前帧中目标不存在。（由于R在跟踪过程中是固定的——参数和目标模板都是固定的，所以它不会累积误差，并且可以一直提供可靠的相似度评估。V动态地适应变化，R可以在一定程度上对在线采集的不准确样本进行正则化。）

回归网络
       回归网络采用SSD检测框架和MobileNets作为特征抽取器，上分支将搜索区域（最后一帧中围绕目标位置裁剪）作为输入，输出两个尺度的特征图（19×19×512和10×10×512），以处理剧烈的尺度变化，下分支以对象模板（第一帧中给出的真实目标）作为输入，输出单个1×1×512特征向量。然后将目标模板和搜索区域的特征映射融合后发送到区域建议网络RPNs中，RPNs的输出是编码边界框信息和匹配结果的一系列特征映射，然后进行非最大值抑制（NMS）得到候选边界框。以19×19×512特征和1×1×512特征向量融合为例，过程如下：
融合过程旨在为区域建议网络（RPN）提供具有代表性的搜索区域特征和被跟踪对象的相似性度量和边界盒预测。

验证网络
       验证网络的架构类似于MDNet，在线更新网络的最后三个卷积层来训练一个基于softmax的强分类器，该分类器能够有效地区分前景和背景。将上述的候选对象输入到验证网络中，输出前景和背景的得分。

跟踪策略
       该跟踪器首先在搜索区域内搜索被跟踪的目标，搜索区域是目标大小的四倍。在获得每帧中的最佳候选后，我们可以根据被跟踪对象的置信度，将其视为存在或不存在，并确定如何在下一帧中搜索目标。如果置信度低于阈值0.3，则跟踪器将被跟踪对象视为不存在，并在下一帧中调用全局搜索方案。否则，跟踪器将被跟踪对象视为存在，并在下一帧中继续采用本地搜索。如图2所示，本地和全局搜索方案基于最佳候选的置信度进行动态切换，从而指示跟踪者是否找到可靠的候选。
       每个框架中所选候选人的置信分数$S_c$由回归分数$S_r$和验证分数$S_v$定义为
${\theta }_{v^{\prime }}=20.0，{\theta }_{r^{\prime }}=0.5，{\theta }_r=0.3$

三、总结
文章针对长期跟踪设计的思路，由于采用了两个网络，提取的特征可能存在大量的冗余，RPN的计算量比较大，包含了多尺度，所以算法的速度比较慢。另外文章采用滑动窗口的方式进行全局目标 的产生，这可能导致存在多个相似目标时，跟踪失败。