ECO目标跟踪: Efficient Convolution Operators for Tracking（翻译+笔记）

ECO: Efficient Convolution Operators for Tracking
摘要
近年来，基于判别相关滤波器 (DCF) 的方法显着提高了跟踪的最新技术水平。 然而，在追求不断提高的跟踪性能的过程中，它们的特征速度和实时能力逐渐减弱。 此外，越来越复杂的模型具有大量可训练的参数，引入了严重过拟合的风险。 在这项工作中，我们解决了计算复杂性和过度拟合问题背后的关键原因，目的是同时提高速度和性能。
我们重新审视核心 DCF 公式并引入：（i）分解卷积算子，它大大减少了模型中的参数数量； (ii) 训练样本分布的紧凑生成模型，可显着降低内存和时间复杂度，同时提供更好的样本多样性； (iii) 一种具有改进鲁棒性和降低复杂性的保守模型更新策略。 我们对四个基准进行了全面的实验：VOT2016、UAV123、OTB-2015 和 Temple Color。 当使用昂贵的深度特征时，与 VOT2016 挑战中排名最高的方法 [12] 相比，我们的跟踪器提供了 20 倍的加速，并在预期平均重叠方面实现了 13.0% 的相对增益。 此外，我们的快速变体使用手工制作的特征，在单个 CPU 上以 60 Hz 的频率运行，同时在 OTB-2015 上获得 65.0% 的 AUC。
1.Introduction
通用视觉跟踪是计算机视觉中的基本问题之一。 这是在仅给定初始状态的情况下估计图像序列中目标轨迹的任务。 在线视觉跟踪在众多实时视觉应用中起着至关重要的作用，例如智能监控系统、自动驾驶、无人机监控、智能交通控制和人机界面。 由于跟踪的在线性质，在实时视觉系统的硬计算约束下，理想的跟踪器应该是准确和健壮的。
近年来，基于跟踪基准的有识别能力的相关性过滤器（DCF）方法在准确性和鲁棒性方面显示出持续的性能改进 [23, 37]。 基于 DCF 的跟踪性能的最新进展是由使用多维特征 [13, 15]、稳健的尺度估计 [7, 11]、非线性内核 [20]、长期记忆组件 [28]、 复杂的学习模型 [3, 10] 和减少边界效应 [9, 16]。 然而，这些准确性的提高是以显着降低跟踪速度为代价的。 例如，Bolme 等人的开创性 MOSSE 跟踪器。 [4] 在 VOT2016 挑战 [23] 中比最近排名第一的 DCF 跟踪器 C-COT [12] 快约 1000 倍，但准确率只有一半。
如上所述，DCF 跟踪性能的进步主要归功于强大的特征和复杂的学习公式 [8, 12, 27]。 这导致了更大的模型，需要数十万个可训练的参数。另一方面，这种复杂的大型模型有严重的过拟合风险（见图1）。在本文中，我们解决了当前DCF跟踪器的过拟合问题，同时恢复其标志性的实时能力。

图 1. 我们的方法 ECO 与基线 C-COT [12] 在三个示例序列上的比较。 在所有三种情况下，CCOT 都存在对目标特定区域的严重过度拟合。 在尺度变化（顶行）、变形（中行）和平面外旋转（底行）的情况下，这会导致目标估计不佳。 我们的 ECO 跟踪器成功解决了过度拟合的原因，从而更好地泛化了目标外观，同时实现了 20 倍的加速。
1.1. Motivation
我们确定了导致最先进的 DCF 跟踪器中计算复杂性增加和过度拟合的三个关键因素。
模型大小：高维特征图的集成，例如深度特征，导致外观模型参数的数量急剧增加，通常超出输入图像的维度。 例如，C-COT [12] 在模型的在线学习过程中不断更新大约 800,000 个参数。 由于跟踪中训练数据的固有稀缺性，这样的高维参数空间容易出现过拟合。 此外，高维度导致计算复杂度的增加，导致跟踪速度变慢。
训练集大小：最先进的 DCF 跟踪器，包括 C-COT，由于依赖迭代优化算法，需要存储大量的训练样本集。 然而，在实践中，内存大小是有限的，尤其是在使用高维特征时。 维持可行内存消耗的典型策略是丢弃最旧的样本。 然而，这可能会导致对最近的外观变化过度拟合，从而导致模型漂移（见图 1）。 此外，大型训练集会增加计算负担。
模型更新：大多数基于 DCF 的跟踪器应用持续学习策略，其中模型在每一帧中都被严格更新。 相反，最近的作品使用 Siamese 网络 [2]，在没有任何模型更新的情况下显示了令人印象深刻的性能。 受这些发现的启发，我们认为最先进的 DCF 中的连续模型更新过度且对由例如尺度变化、变形和平面外旋转引起的突然变化敏感（见图 1）。 由于过度拟合最近的帧，这种过度的更新策略会导致较低的帧速率和鲁棒性的降低。
1.2. Contributions
我们提出了一种新颖的公式，可以解决先前列出的最先进 DCF 跟踪器的问题。 作为我们的第一个贡献，我们引入了一个分解卷积算子，它极大地减少了 DCF 模型中的参数数量。 我们的第二个贡献是训练样本空间的紧凑生成模型，它有效地减少了学习中的样本数量，同时保持了它们的多样性。 作为我们的最后贡献，我们引入了一种有效的模型更新策略，同时提高了跟踪速度和鲁棒性。
综合试验表明，该方法同时提高了跟踪性能和速度，因此提出了四个最先进的基准：VOT2016, UAV123, OTB-2015, and Temple-Color.与基线相比，我们的方法在学习中显着减少了 80% 的模型参数数量、90% 的训练样本和 80% 的优化迭代。 在 VOT2016 上，我们的方法在挑战中优于排名最高的跟踪器 C-COT [12]，同时实现了显着更高的帧速率。 此外，我们提出了我们的