《Online Filtering Training Samples for Robust Visual Tracking》解析

最近在研究目标跟踪方面的内容，查看了一些文献，发现单目标跟踪和多目标跟踪还是有区别的，我看的这篇是单目标跟踪的，既然看了这篇文章，就做个记录吧。

来我们开始吧！！！

0、摘要

近年来，判别式跟踪器显示了其出色的跟踪性能，这主要归因于使用跟踪过程中收集的样本进行的在线更新。 该模型在更新后可以很好地适应对象和背景的外观变化。 但是这些跟踪器有一个严重的缺点，即错误的样本可能会导致严重的模型降级。 跟踪阶段的大多数训练样本是根据当前帧的跟踪结果获得的。 当跟踪结果不准确时，将会收集到错误的训练样本，从而严重影响模型的判别能力。 此外，部分遮挡也导致相同的问题。 在本文中，我们提出了一个名为MetricNet的优化模块，用于在线过滤训练样本。 它应用包含分类和距离分支的匹配网络，并对不同类型的样本使用多种度量方法。 MetricNet通过识别错误和多余的样本来优化训练样本集，从而提高跟踪性能。 提议的MetricNet可以视为一个独立的优化模块，并且可以集成到所有在线更新的判别式跟踪器中。 在三个跟踪数据集上的大量实验表明了其有效性和泛化能力。 将MetricNet应用于MDNet后，根据LaSOT数据集上的成功图，跟踪结果将增加5.3。

1、引言

作为计算机视觉中最重要的分支之一，单目标跟踪已经发展了数十年[23，24，26，47]。 它具有许多实际应用，例如智能运输，机器人服务和导弹测量。 给定序列的初始对象状态，跟踪器的主要目的是在随后的帧中定位目标并估计目标状态。 仍然存在许多未解决的挑战，例如阻塞，视线外，变形，快速移动和干扰项。 目前，跟踪器可以分为三种类型，包括基于深层Siamese网络的跟踪器[1、20、21、39、44、52]，基于相关滤波的跟踪器[5、7、10、14、40]和跟踪器。 基于深度分类网络[2，6，28，29]。 为了适应前景和背景的急剧变化，大多数跟踪器会在线更新其模型，通常会根据当前帧的跟踪结果收集训练样本。 显然，这些样本的质量对在线更新的影响很大。 错误的训练样本将导致模型退化。 为避免此问题，大多数跟踪器会同时输出跟踪结果和相应的置信度分数。 该解决方案具有一些缺点。 一方面，许多判别式跟踪器通过一帧收集许多样本，但是，通过置信使样本颤动是一种帧级操作，可能会丢失一些标签错误的样本。 部分遮挡也会导致这种帧级别的判断不可靠。 另一方面，置信度分数通常是从网络与跟踪结果一起获得的，而不是从独立模型中获得的。 使用错误标签的样本更新网络时，网络可能会退化，然后会生成不可靠的置信度分数，这将进一步影响收集到的样本的质量。 总之，错误的样本可能导致累积效应，然后更新的网络变得越来越糟。 此外，相邻帧中前景和背景的变化很小。 如果将从连续帧收集的样本全部放置在样本集中，则更新后的模型将过多地依赖于冗余样本，在该样本上模型将溢出并且无法检索目标。
为了解决由错误和冗余样本导致的问题，我们提出了一个名为MetricNet的独立模块，以在线优化训练样本集。 它应用包含分类和距离分支的匹配网络，并对不同类型的样本使用多种度量方法。 具体而言，MetricNet通过识别并删除错误和多余的样本来优化样本集。通过离线训练，匹配网络具有较强的目标特异性匹配能力，可以区分两个样本是否属于同一目标。

2、相关工作

3、方法细节

4、实验部分

4.2、消融实验

4.3、结果讨论

为什么MetricNet有效果？ 我们的算法MetricNet通过优化样本集来提高跟踪性能。在这部分，我们使用一些定量的评估方法来展示我们的模块在样本集优化方面的强大能力。
首先，去除错误样本前后的正、负样本集质量如表5所示。

IOU代表样本与真值之间的平均重合度，Distct代表样本与真值的平均距离。我们可以看到，去除错误的阳性样本后，阳性样本集的Distct大大降低，而其IOU增加。相反，去除错误的负样本后，负样本集的Distct增加，IOU减少。这些变化可以重新影响通过MetricNet模块去除错误样本对跟踪性能的积极影响。值得注意的是，负样本集的IOU和Distct变化较小的原因是错误的负样本远远小于整个样本集。
其次，图3展示了样本集在不同IOU阈值下的TNR（真负率）。

TNR由下式定义：
$$TNR=\frac{TN}{TN+FP}$$

TN和FP分别表示真阴性样本和假阳性样本的数量。TNR代表的比例是识别出的错误样本数占总样本数的比例。错误的样本。原则上，识别和删除的错误样本越多，模型的更新效果会更好。换句话说： 较大的TNR可以获得更好的跟踪性能。我们可以看到，在用MetricNet去除错误样本后，阳性和阴性样品集在所有IOU下都有较高的TNR。当IoU不小于0.5时，阳性样本的TNR余量比较大，而负样本集的TNR余量则开始于扩大在IoU不大于0.3时的范围。这意味着MetricNet模块具有识别错误样本的能力，它对IoU大于0.3的错误阴性样品很敏感，对于IoU小于0.5的错误阳性样本很敏感。此外，当IoU阈值分别为0.7和0.2时，MetricNet为正样本集和负样本集带来最大的TNR余量。

判别能力分析 为了证明MetricNet可以通过离线训练提取出更多的判别特征，我们绘制了MetriNet和MDNet得分曲线，这两条曲线描述了三个序列上的跟踪结果的可信度，然后与IoU曲线进行比较，如图4所示，MetricNet得分是当前跟踪结果与初始帧的目标模板之间的欧氏距离。完美的距离曲线应该与IoU曲线完全相反。但是，MDNet分数是当前跟踪结果的分类分数，分数曲线应与IoU曲线一致。 为了便于观察，我们将两个分数归一化为0到1，并绘制一条IoU为0.5的辅助线。 当IoU小于0.5时，MetricNet得分将增加到辅助线之上，而MDNet得分不会下降到辅助线之下。 这意味着MetricNet的匹配和判别能力要优于MDNet。 此外，我们使用TSNE工具包将样本特征映射到二维空间中。 图5以LaSOT数据集中序列“ airplane-1”的第300帧为例，以显示特征分布。 与MDNet相比，MetricNet提取的特征分布具有更大的类间距离和更紧凑的类内距离。

泛化能力分析 我们将MetricNet模块集成到ECO [7]和ATOM [6]中以展示其泛化能力，其中ECO和ATOM分别被视为基于相关滤波器的跟踪器和基于深度网络的跟踪器的代表。与MDNet相比，这两个跟踪器隐式收集训练样本，即收集样本特征而不是特定样本图像。所以我们只需用MetricNet来判断当前跟踪结果的可靠性，然后决定是否在这一帧中收集训练样本。虽然操作简单，但从4.4节可以看出，应用MetricNet模块后，这两种跟踪器在diff不同数据集上的跟踪性能都有所提高。

4.4、最先进的比较

我们将提出的MetricNet模块应用到包括MDNet [29]，ECO [7]和ATOM [6]在内的三个不同类型的跟踪器中。 他们的共同点是，他们都是具有歧视性的跟踪器，可以在线更新网络。 我们在三个数据集上将跟踪器与其他最新的跟踪器进行了比较。
OTB2015 [43]： 此数据集包含100个序列。 一遍评估（OPE）之后的精度和成功图分别用于测量跟踪结果与地面真实性之间的中心位置误差和IoU得分。 前者测量像素距离，而后者则可以反映目标尺寸和比例的准确性。 表7显示了我们和其他跟踪器的跟踪性能。 应用MetricNet模块后，MDNet，ECO和ATOM都将其成功率提高了约1％。 同时，ECO的精度曲线提高了2.0％以上。
UAV123 [27]： 它通过无人机航拍捕捉110万帧以上的视频。 评估方法遵循OTB [43]的OPE标准，其中包含精度图和成功图。 表6中显示了与其他最新跟踪器的比较结果。MetricNet模块都可以使MDNet，ECO和ATOM的跟踪性能得到改善，其中MDNet和ATOM将精度图提高了约3.5％，ECO则提高了2.0以上 ％。 在精度和成功率方面，ATOM + MetricNet都优于大多数最新的跟踪器。
LaSOT[11]： 其测试子集包含70个类别的280个序列。与传统的跟踪基准相比，LaSOT 含有较长的视频，平均序列长度约为2500帧。此外，视线外和全遮挡出现更多的频率。除了通过成功率图来评价跟踪结果外，LaSOT[11]中还采用归一化精度，用0～0.5之间的曲线下面积(AUC)对跟踪器进行排名，即对目标尺寸和图像分辨率不敏感。在应用了我们的MetricNet模块后，MDNet的规范精度和成功率图分别提高了9.3%和5.3%，ECO和ATOM也提高了4.8%和3.2%。ECO和ATOM也提高了4.8%和3.2%的成功图。此外，我们的ATOM+MetricNet获得了最好的跟踪性能。与其他最先进的跟踪器包括VITAL[37]相比。SiamFC[1]、StructSiam[51]、DSiam[12]、SINT[39]和STRCF[22]。结果的定性比较和详细跟踪性能以及每个挑战属性的情况见补充材料。
综上所述，MetricNet在LaSOT数据集上的性能提升最大。这主要是由于LaSOT属于长期数据集，包含了更多的目标遮挡和消失的情况，因此，MetricNet对样本集的优化空间更为巨大。因此，MetricNet优化样本集的空间更为巨大。此外，所提出的模块并没有带来巨大的速度下降，ATOM从35fps下降到28fps，ECO从30fps下降到23fps。

5、总结

在这项工作中，我们发现判别跟踪器中训练样本集的质量对于在线更新模型非常重要。 但是，大多数跟踪器中的训练样本集包含错误且多余的样本，这会导致模型退化和漂移。为了解决这个问题，我们将度量学习应用于跟踪领域，并提出了一个名为MetricNet的模块，用于通过删除错误和多余的样本来在线优化训练样本集。提议的模块可以集成到所有在线更新模型的判别跟踪器中。首先，MetricNet包含一个匹配网络和多种度量方法，这些方法可以通过离线训练提取判别特征，并匹配属于同一目标的不同样本。然后，使用局部离群因子和中心点距离比分别测量正样本和负样本。 在三个数据集上的大量实验表明，MetricNet可以优化训练样本集的质量并显著提高跟踪性能。