Ocean/Ocean+: 实时目标跟踪分割算法《Object-aware Anchor-free Tracking》翻译

在过去的几年中，基于anchor的Siamese算法成为了单目标跟踪的主流。但是其本身在训练时设置了较为严苛的正负样本阈值(IoU>0.6)。这种设置固有的问题是：算法在训练时无法“看见”重合度较小的anchor，如果在测试时候分类分支将这样的anchor选为目标区域，那回归网络预测结果将非常差。

本次分享，我们邀请到了中科院模式识别实验室的张志鹏博士。为解决上述问题，他们在论文中提出了基于anchor-free的回归网络，和基于特征对齐的object-aware分类网络。anchor-free回归网络能在较大空间范围内回归出目标区域，同时，其回归得到的目标框给分类网络提供指导使其学习更关注于物体整体的特征。两者相辅相成提高了跟踪的准确度。
1、除了在ECCV的文章外，主讲人还将简单介绍单目标跟踪入门必备的算法和Github资源，希望能帮助新入门的同学熟悉这个领域。

2、分享几次投稿顶会的心得。

3、简单介绍Ocean后续关于视频分割的工作，**只需要非常少的代码就可以实现在VOT2020中大幅领先当前基于跟踪的分割算法，**i.2. online和offline版本分别以18和12个点领先于SiamMask，9/2个点领先于基于D3S，且保持单帧实时(~35-40fps)。

文献翻译
中科院文章地址：http://xxx.itp.ac.cn/pdf/2006.10721.pdf

摘要

基于锚定的Siam跟踪器在精度上取得了显著的进步，但跟踪鲁棒性滞后制约了其进一步的提高。**我们发现其根本原因是基于锚定的方法中的回归网络只训练在正锚盒上（即IoU≥0.6）。**这种机制使得很难细化与目标对象重叠较小的锚点。**本文提出一种新的对象感知anchor-free网络来解决这一问题。**首先，我们没有细化参考anchor box，而是直接以anchor-free方式预测目标对象的位置和比例。由于gtbox的每个像素都经过了良好的训练，跟踪器能够在参考期间校正目标物体的不精确预测。其次，我们引入一个特征比对模块，从预测的边界框中学习一个对象感知的特征。目标感知特征可以进一步帮助目标物体和背景的分类。此外，我们提出了一种基于anchor-free模型的跟踪框架。实验表明，我们的anchor-free跟踪器在五个基准测试中达到了最先进的性能，包括VOT-2018、VOT-2019、OTB-100、GOT-10k和LaSOT。

引言

目标跟踪是一项基本的视觉任务。它的目的是推断视频序列中任意目标的位置，仅给出其在第一帧中的位置。跟踪的主要挑战在于目标对象可能会受到严重遮挡、大变形和光照变化[44,49]。实时速度跟踪有多种应用，如监视、机器人、自动驾驶和人机交互[16,25,33]。
近年来，暹罗跟踪器以其速度快、精度高而备受关注。开创性的工作，即SINT[35]和SiamFC[1]利用暹罗网络来学习目标和候选图像块之间的相似性度量，从而将跟踪建模为目标在整个图像上的搜索问题。已经提出了大量的后续暹罗轨道，并取得了令人满意的性能[9,11,21,22,50]。
其中，暹罗地区提案网络，被称为SiamRPN[22]，是具有代表性的。它介绍了区域建议网络[31]，它包括用于前景背景估计的分类网络和用于锚盒细化的回归网络，即学习预定义锚盒的二维偏移。这种基于锚点的跟踪器在跟踪精度方面显示出巨大的潜力。然而，由于回归网络只对正锚盒（即IoU≥0.6）进行训练，因此很难细化与目标对象重叠较小的锚。这将导致跟踪失败，特别是当分类结果不可靠时。例如，由于跟踪过程中的误差积累，目标位置的预测可能变得不可靠，例如IoU<0.3。回归网络无法纠正这种弱预测，因为它以前在训练集中是看不见的。因此，跟踪器在随后的帧中逐渐漂移。–》 确实·有这种情况，Girls，酒瓶子视频

图1. VOT-2018上最新跟踪方法的性能和速度的比较。 我们可视化相对于每秒帧数（FPS）的预期平均重叠（EAO)_.Offline-1和Offline2分别指示建议的带有和不带有功能对齐模块的离线跟踪器。

我们很自然地会提出一个问题：我们能否设计一个能够修正不准确预测的边界盒回归器 在这项工作中，我们提出了一个新的目标感知anchor-free跟踪器，以证明答案是肯定的。我们的目标感知anchor-free跟踪器不是预测锚盒的小偏移量，而是直接回归视频帧中目标对象的位置。 --》 不是delta，是实际value
**更具体地说，该跟踪器由两部分组成：一个对象感知分类网络和一个边界盒回归网络。**分类负责确定一个区域是属于前景还是背景，而回归的目的是预测从目标对象内的每个像素到背景真实边界框的四个边的距离。
由于groundtruth-box中的每个像素都经过了很好的训练，**因此即使只有很小的区域被识别为前景，回归网络也能够定位目标对象。**最后，在推理过程中，跟踪器能够纠正与目标对象重叠较小的弱预测。–》 这就很厉害了，robust很多
**当回归网络预测一个更精确的边界框时（例如，纠正弱预测），相应的特征反过来又有助于前景和背景的分类。**我们以预测的边界框作为参考，学习一个对象感知特征进行分类。更具体地说，我们引入了一个特征对齐模块，该模块包含一个二维空间变换，将特征采样位置与预测的边界框（即候选对象的区域）对齐。该模块保证在预测区域内指定采样，以适应目标尺度和位置的变化。因此，学习到的特征对于分类更具鉴别性和可靠性。
拟议框架的有效性在五个基准上得到验证：VOT-2018[17]、VOT-2019[18]、OTB-100[44]、GOT-10k[14]和LaSOT[8]。我们的方法在VOT2018[17]上实现了最先进的性能（EAO为0.467），同时以58 fps的速度运行，如图1所示。与基于anchor-base的方法（即SiamRPN[