Multi-Cue Correlation Filters for Robust Visual Tracking MCCT

摘要：
近年来，许多跟踪算法通过融合多种类型的功能实现了令人印象深刻的性能，但是，大多数跟踪算法无法充分探索所采用的多种特征之间的上下文及其优势。 在本文中，我们提出了一种有效的多线索分析框架，用于强大的视觉跟踪。 通过组合不同类型的特征，我们的方法通过判别相关过滤器（DCF）构造了多个专家，每个专家独立跟踪目标。 利用提出的鲁棒性评估策略，选择合适的专家在每个帧中进行跟踪。 此外，多位专家的分歧揭示了当前跟踪的可靠性，量化该跟踪以自适应地更新专家以防止他们腐败。
通过建议的多线索分析，我们的跟踪器具有标准的DCF和深层功能，可以在几个具有挑战性的基准上取得出色的结果：OTB-2013，OTB-2015，Temple-Color和VOT 2016。精巧的功能，我们的方法在复杂的非实时跟踪器中表现出可比的性能，但效率更高，在CPU上的速度为45 FPS
1.引入

图1.所提出的算法（MCCT）与最新的跟踪器（SRDCF [12]，DeepSRDCF [11]和C-COT [13]）的比较。 这些跟踪器采用各种类型的功能，并在具有挑战性的场景中表现不同。 我们的方法保留了用于跟踪的多个线索，并且对这些跟踪器的运行情况良好。 所有视频均来自OTB-2015 [48]。

为了更好地说明上述问题，将我们提出的算法与三种基于DCF的方法进行了比较。在图1中，SRDCF [12]，DeepSRDCF [11]和C-COT [13]采用不同类型的功能，但是它们都不能够处理各种挑战性因素，即使对于具有多种功能的CCOT算法以及新颖的连续卷积算子。由于要设计出适合各种挑战性场景的令人满意的特征级融合方法非常困难，因此设计自适应选择机制以获得更好的性能是很直观的，它可以根据其挑战性因素灵活地切换到可靠的跟踪器是处理方面的专家。换句话说，单个跟踪器的性能有时可能不稳定，但是多个跟踪器的输出的决策级融合可以有效地增强鲁棒性。

文提出了一种新颖的基于多线索相关滤波器的跟踪器（MCCT）。与以前基于DCF的方法[4，16]通常缺乏目标外观表示的多样性不同，我们的方法由多个专家组成，可以从不同的角度学习外观模型。在这里，特征的某种组合构成了一名专家，并提供了可靠的线索（预测目标状态）进行跟踪。我们工作的主要贡献可以总结如下。
（1）我们提出了一种算法，该算法可维护多个线索以进行跟踪。通过仔细检查多个专家的鲁棒性得分，我们的方法通过选择可靠的专家在每个帧中进行跟踪来完善跟踪结果。
（2）通过考虑多个专家的分歧，我们提出了一种自适应更新策略，该策略可以有效地区分不可靠的样本（例如，咬合或严重变形）并减轻训练样本的污染。
（3）我们实现了所提出方法的两个版本，以验证框架的通用性。具有深度特征的MCCT跟踪器在多个具有挑战性的基准测试中表现出出色的性能[47、48、27、21]。仅具有两个标准手工制作功能（HOG [7]和ColorNames [46]）的MCCT-H跟踪器可与许多基于复杂深模型的跟踪器实现可比的性能，但在单个CPU上每秒可运行约45帧，超过了大多数竞争跟踪器多次。

图2.提出的跟踪算法的系统流程图。 首先，根据DCF框架（第3.1和3.2节），提取和组合不同的ROI特征，以培训多位专家。 然后，每个专家给出一个单独预测的提示，并选择最可靠的专家进行当前跟踪（第3.3节）。 最后，自适应更新有助于使专家免受腐败的侵害（第3.4节）。

与上述方法不同：（1）我们的方法构建了DCF框架中的所有专家，并且通过提出的ROI和培训样本共享策略（第3.3节），极大地确保了效率； （2）将改进的跟踪结果反馈给专家，以进一步提高他们的水平； （3）通过简单但有效的鲁棒性评估策略，我们的方法选择了可靠的专家进行跟踪，其复杂度仅为T帧的O（T N）和N个专家。方法在figure2中描述。
3.方法
我们的算法由数名专家组成，这些专家提供不同级别的线索进行跟踪。 在第二部分中介绍了DCF的预览。 3.1。 第二节中描述了专家库的组成部分。 3.2。 在第二节中详细说明了如何在每个框架中切换到合适的专家。 3.3。 最后，第二节 3.4介绍了自适应更新。 我们的方法的框架如图2所示。
3.2特征库和专家库
DCF可以采用多种功能，不同的功能各有优势。 手工制作的功能通常用于捕获底层细节，而深层功能则具有语义意识。 如HCF [31]所述，由VGG-19 [39]的每个单层构造的DCF不够准确，因此HCF对来自不同层的多个DCF响应图执行从粗到精的搜索。 在我们的MCCT跟踪器中，HOG [7]被用作低级功能。 然后，我们删除完全连接的层，并分别提取VGG-19的conv4-4和conv5-4卷积层的输出作为中级和高级特征。因此，特征池由三种类型的特征组成：{Low, M iddle, High}，他们共同组成七个专家。至于不同级别DCF响应图的粗到细加权参数，我们遵循HCF中的设置[31]。 尽管某些专家（例如，专家I，II和III）具有单一类型的功能可能不如专家VII那样健壮，但它们提供了跟踪结果的多样性，这在基于集合的跟踪中至关重要[43]。我们的快速变体MCCT-H跟踪器仅利用标准的手工功能（HOG [7]和ColorNames [46]）来构建专家。 由于HOG和ColorNames都是低级功能，因此我们不进行粗到细融合，而只是将它们连接起来以构造DCF。 ColorNames提供11维颜色表示，HOG特征为31维向量。 为了获得更多的专家，我们将补丁中所有像素的平均灰度值作为1-dim特征并将其与HOG特征连接为32-dim向量，然后将其进一步平均分解为两个16-dim特征，表示为 分别为HOG1和HOG2。 表1列出了MCCT和MCCT-H专家的详细信息。

3.3多线索相关追踪器
我们提出的框架的跟踪过程可以通过图3来说明，其中多个专家并行跟踪目标，节点表示专家的生成线索（边界框）。 在每个框架中，不同假设节点之间的评估揭示了专家之间的一致性程度，称为成对评估。 此外，每个专家都有自己的轨迹连续性和平滑性。 因此，给定一个假设节点，它的鲁棒程度可以通过结对评估和自我评估来评估。 在评估每个节点的总体可靠性之后，选择具有最高鲁棒性得分的专家，并针对当前帧获取其跟踪结果
接下来，我们详细阐述配对评估，自我评估和专家选择策略的制定。
专家对评估
集成中的大多数专家都能够稳定地跟踪目标，并且由优秀专家提供的线索应尽可能与其他专家的线索保持一致。$E_1,....E_7$分别表示Expert1…Expert7，在第t帧，专家i的边界框表示为$B_{E_i}^t$通过将所有专家视为黑盒，包围盒Bt仅包含目标状态（例如，位置和比例），而没有任何上下文信息，这有效地减少了计算和存储负担。
首先计算专家之间的互评分数：

为了缩小高低重叠率之间的差距，我们对A采用非线性高斯函数，如下所示，该函数收集专家得分。

表示某专家和其他专家的互评分数，通常，两个专家之间的成对比较分数应该是时间稳定的。 **因此，在短时期Δt（例如5帧）中重叠率的波动程度揭示了专家i和其他专家之间的重叠评估的稳定性，**这由等式1给出。 （7）。

然后，为避免专家的性能波动，我们进一步考虑了时间稳定性，并引入了递增的序列w来赋予最新分数更多的权重。 在考虑了时间上下文之后，通过以下方式计算平均加权均值和标准方差：


最后，在帧t处，专家i的成对专家稳健性得分定义如下：

其中ξ是一个小常数，它避免了零分母的无限成对评估分数。 Rt对（Ei）越大，意味着与其他专家的一致性越好，目标状态预测的稳定性也越高。
专家自评
每个专家的轨迹平滑度在一定程度上表明了其跟踪结果的可靠性。 测量前一个边界框Bt-1和当前边界框Bt之间的距离的欧几里得距离是DE

与配对评估类似，我们收集先前的运动信息以考虑时间稳定性。 最后，自我评估得分由Rt self（Ei）=定义。Rt self（Ei）越高，表示跟踪轨迹的可靠性越高。
专家选择