Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking

Project Page:：http://www.dabi.temple.edu/~hbling/code/CRPN/crpn.htm

摘要

      最近，区域建议网络（RPN）已经与Siamese网络结合进行跟踪操作，并展现出极高的精度和高效。然而，先前提出一个阶段Siamese-RPN跟踪器在相似干扰器和大尺度变化情况下，表现性能差。基于这些问题，我们提出了一个多阶的跟踪框架，Siamese级联RPN（C-RPN），它是有一系列的RPNs级联从高阶到低阶层在一个Siamese网络框架。对比先前的解决方案，C-RPN有几个优点：（1）每一个RPN使用先前阶段中RPN输出进行训练。这样的处理会刺激硬负样本，结果是训练样本的平衡。因此，RPNs是按顺序在区分复杂背景时具有较好的区分性。（例如，相似的干扰）。（2）多层特征全部利用通过一个新颖特征转化块（FTB）对每个RPN，将来提高C-RPN的区分性使用高层语义和低层空间信息。（3）使用多步回归，C-RPN循序渐进重定义目标的位置和形状在每个RPN，通过调整先前状态的核心框，来使局部更加精确。C-RPN使用多任务损失函数进行端到端的训练。推论中，C-RPN按原先进行部署，没有任何的时间适应性，是一个实时的跟踪。在OTB-2013，OTB-2015，VOT-2016，VOT-2017，LaSOT and TrackingNet上进行外部实验，C-RPN全部实现最先进的结果和实时的运行。

                                                     

 

                                                

 

结论

       在这篇论文中，我们提出一个新颖的多阶段框架C-RPN进行跟踪。相比于先前的先进方法，C-RPN证明具有较强的性能在解决复杂背景，例如通过在级联体系结构中执行硬负采样来进行类似的语义干扰。另外，我们提出了一个新颖的FTB模块，允许跨层有效地使用功能，以实现更具识别性的表示。此外，C-RPN使用多步回归先进的定义了目标框，保证了局部定位精度。我们的外部实验是在6个基准数据集上，C-RPN一致实现最先进的结果和实时的运行。

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料