元学习----Meta-Tracker: Fast and Robust Online Adaptation for Visual

Abstract

这篇论文改进了最先进的使用在线适应的视觉对象跟踪器。(MDNET,Crest)我们的核心贡献是一种基于离线mete-learning-based的方法，用于调整在线适应跟踪中使用的初始深度网络。元学习是由深层网络的目标驱动的，深层网络可以在未来的框架中快速地适应对特定目标的鲁棒建模。理想情况下，得到的模型关注于对未来帧有用的特性，避免对背景杂波、目标的小部分或噪声的过度拟合。通过在元收益期间强制执行少量的更新迭代，得到的网络训练速度显著提高。我们在高性能跟踪方法的基础上演示了这种方法:基于MDNet[1]的跟踪检测和基于相关性的CREST[2]。在标准基准OTB2015[3]和VOT2016[4]上的实验结果表明，我们的元学习版本的跟踪器提高了速度、准确性和鲁棒性。

1.Introduction

视觉目标跟踪是在给定初始帧目标边界框的图像帧序列上精确定位目标对象的任务。在视觉目标跟踪中，与其他目标识别任务如目标分类和检测相比，实例级识别是一个重要的因素。例如，一个感兴趣的目标可以是人群中的一个特定的人，或者一个更广泛的类别中的一个特定的产品(如可乐罐)。因此，准确的目标跟踪器不仅要能够从背景杂波和其他类别的目标中识别出一般的目标，还要能够从可能属于同一类别的相似干扰物中识别出特定的目标。此外，在跟踪过程中学习的模型应该是灵活的，以考虑由于视角变化、遮挡和变形而导致的目标外观变化。
应对这些挑战的一个方法是应用在线适应。跟踪过程中目标的模型，如DCF (discriminative correlation filter)或二分类器(object vs background)，在asequence的第一帧初始化，然后更新以适应后续帧的目标外观[1、2、5、6、7、8、9、10]。随着强大的通用深度学习表示法的出现，最近的顶级跟踪器现在利用了两个共同的优点:深度学习特性和在线适应方法。也有人建议使用经过深度训练的离线追踪器，其结果令人满意，速度也很快，但与最先进的在线自适应追踪器相比，准确性有所下降[11、12、13]，这可能是由于难以准确识别视频中的特定实例。
将深度学习特性和在线适应相结合的一个常见实践是在深度学习特性的基础上训练目标模型，并在大型数据集上进行预训练。这些预先训练的特性已经被证明是一种强大而广泛的表示，可以识别许多通用对象，从而使目标模型的有效训练能够集中于指定的目标实例。尽管这种方法迄今为止取得了最好的效果，但仍有几个重要问题有待解决。

• 首先，可用的训练示例非常少。在初始帧中，我们给目标一个边界框。在随后的帧中，跟踪器会收集额外的图像，但许多图像是多余的，因为它们本质上是相同的目标和背景。此外，最近的趋势是为目标外观构建深度模型[1,2]，这使得问题更具挑战性，因为深度模型很容易在小数据集上过度拟合。因此，在深入学习的特征上训练的目标模型有时会受到影响，因为它与背景杂波、目标的小部件或特征或噪声不匹配。许多最近的研究提出了各种各样的方法来解决这些问题。其中包括使用大量带有侵略性正则化器[1]的阳性和阴性样本，分解卷积[6]，空间剩余模块[2]，或合并上下文信息[14]。

• 其次，最先进的跟踪器在初始训练阶段花费了大量的时间[1,2,6]。虽然已有许多工作提出了快速训练方法[6,7]，但这仍然是一个瓶颈。在目标跟踪的许多实际应用中，如监视，需要实时处理。根据应用程序的不同，在初始帧上落后可能意味着整个任务失败。另一方面，一个未完全训练的初始目标模型可能会影响未来帧的性能，或者在最坏的情况下，导致所有后续帧的失败。因此，在初始帧快速获取鲁棒目标模型是非常必要的

在这项工作中，我们提出了解决这些挑战的一般性和原则性的方法。受最近元学习(learning to learn)研究的启发[15,16,17,18,19,20]，我们寻求学习如何获得目标模型。关键的思想是用一种可以在未来框架中很好概括的方式来训练目标模型。在之前的所有工作中[1、2、5、6、7、8、9、10]，对目标模型进行训练，使当前帧上的损失函数最小化。即使模型达到了最优解，也并不一定意味着它在未来的框架中可以很好地工作。相反，我们建议使用