CVPR2019
2019年CVPR上的文章
论文原文地址:https://arxiv.org/abs/1812.06148?context=cs
作者对发表在CVPR2018上的SiamRPN做的改进,采用了多个RPN,这样做既可以充分利用深层和浅层的特征,还可以更加精确的对目标进行定位和包围框的回归。
话不多说,先上框架图:
两个主要改进:
- 联级的RPN网络
- 提出Feature Transfer Block (FTB)来更好的融合多层feature map
RPN和孪生网络的结合似乎在跟踪中越来越火了,它不仅精度高,而且比原始的孪生网络跟踪器SiamFC速度更加快,因为SiamRPN避免了多尺度的预测金字塔,它是直接从proposals中选择最好的包围框。关于RPN在孪生网络中的应用,这篇文章有详细介绍:https://blog.csdn.net/fzp95/article/details/80982201
在联级的RPN网络中,除了第一个(左一)RPN的anchors是预先指定的,和SiamRPN的结构一样。后面的RPN的anchors都是从上一个RPN中选择而来,剔除了简单负样本的anchors,这样使得正负样本更加平衡。而且这些anchors的位置和box的大小会根据前一个RPN的输出来调整。
可以看出,联级的RPN网络使得目标在最终的响应图中更加突出。
此外,后面RPN输入的feature map都是经过多层特征融合而成的。
作者采用Feature Transfer Block (FTB)来进行多层特征融合,直接看结构吧(需要注意:本文中
l
−
1
l-1
l−1代表更深的卷积层):
由流程图(图7)可以看出最后得到的anchors集中在一起,这些经过回归会有很多proposal,然后作者采用和SiamRPN同样的策略,即:
- 舍弃的距离中心超过7的anchors
- (1)余弦窗来抑制大位移(2)一个抑制大的尺寸变化的惩罚
- 以上的抑制都加上后,再对剩下的anchors中取前K个proposal。
- 最后通过非极大抑制(NMS)得到最终的BB
实验结果:
OTB:
VOT2026和VOT2017:
还有在最近新出的一些测试集上LaSOT、TrackingNet,就不贴了
看看最后的消融实验:
表4的行数据表示联级RPN数量对性能的影响。表5的行数据表示是否过滤掉简单负的anchor对性能的影响。表6的行数据表示是否进行多层特征融合对性能的影响。