Project Page::http://www.dabi.temple.edu/~hbling/code/CRPN/crpn.htm
摘要
最近,区域建议网络(RPN)已经与Siamese网络结合进行跟踪操作,并展现出极高的精度和高效。然而,先前提出一个阶段Siamese-RPN跟踪器在相似干扰器和大尺度变化情况下,表现性能差。基于这些问题,我们提出了一个多阶的跟踪框架,Siamese级联RPN(C-RPN),它是有一系列的RPNs级联从高阶到低阶层在一个Siamese网络框架。对比先前的解决方案,C-RPN有几个优点:(1)每一个RPN使用先前阶段中RPN输出进行训练。这样的处理会刺激硬负样本,结果是训练样本的平衡。因此,RPNs是按顺序在区分复杂背景时具有较好的区分性。(例如,相似的干扰)。(2)多层特征全部利用通过一个新颖特征转化块(FTB)对每个RPN,将来提高C-RPN的区分性使用高层语义和低层空间信息。(3)使用多步回归,C-RPN循序渐进重定义目标的位置和形状在每个RPN,通过调整先前状态的核心框,来使局部更加精确。C-RPN使用多任务损失函数进行端到端的训练。推论中,C-RPN按原先进行部署,没有任何的时间适应性,是一个实时的跟踪。在OTB-2013,OTB-2015,VOT-2016,VOT-2017,LaSOT and TrackingNet上进行外部实验,C-RPN全部实现最先进的结果和实时的运行。
结论
在这篇论文中,我们提出一个新颖的多阶段框架C-RPN进行跟踪。相比于先前的先进方法,C-RPN证明具有较强的性能在解决复杂背景,例如通过在级联体系结构中执行硬负采样来进行类似的语义干扰。另外,我们提出了一个新颖的FTB模块,允许跨层有效地使用功能,以实现更具识别性的表示。此外,C-RPN使用多步回归先进的定义了目标框,保证了局部定位精度。我们的外部实验是在6个基准数据集上,C-RPN一致实现最先进的结果和实时的运行。
了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:
下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料