C-RPN阅读笔记：Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking

CVPR2019
2019年CVPR上的文章
论文原文地址：https://arxiv.org/abs/1812.06148?context=cs

作者对发表在CVPR2018上的SiamRPN做的改进，采用了多个RPN，这样做既可以充分利用深层和浅层的特征，还可以更加精确的对目标进行定位和包围框的回归。
话不多说，先上框架图：

两个主要改进：

1. 联级的RPN网络
2. 提出Feature Transfer Block (FTB)来更好的融合多层feature map

RPN和孪生网络的结合似乎在跟踪中越来越火了，它不仅精度高，而且比原始的孪生网络跟踪器SiamFC速度更加快，因为SiamRPN避免了多尺度的预测金字塔，它是直接从proposals中选择最好的包围框。关于RPN在孪生网络中的应用，这篇文章有详细介绍：https://blog.csdn.net/fzp95/article/details/80982201
在联级的RPN网络中，除了第一个（左一）RPN的anchors是预先指定的，和SiamRPN的结构一样。后面的RPN的anchors都是从上一个RPN中选择而来，剔除了简单负样本的anchors，这样使得正负样本更加平衡。而且这些anchors的位置和box的大小会根据前一个RPN的输出来调整。

可以看出，联级的RPN网络使得目标在最终的响应图中更加突出。
此外，后面RPN输入的feature map都是经过多层特征融合而成的。
作者采用Feature Transfer Block (FTB)来进行多层特征融合，直接看结构吧（需要注意：本文中$l-1$代表更深的卷积层）：

由流程图（图7）可以看出最后得到的anchors集中在一起，这些经过回归会有很多proposal，然后作者采用和SiamRPN同样的策略，即：

1. 舍弃的距离中心超过7的anchors
2. （1）余弦窗来抑制大位移（2）一个抑制大的尺寸变化的惩罚
3. 以上的抑制都加上后，再对剩下的anchors中取前K个proposal。
4. 最后通过非极大抑制（NMS）得到最终的BB

实验结果：

OTB:

VOT2026和VOT2017:

还有在最近新出的一些测试集上LaSOT、TrackingNet，就不贴了
看看最后的消融实验：
表4的行数据表示联级RPN数量对性能的影响。表5的行数据表示是否过滤掉简单负的anchor对性能的影响。表6的行数据表示是否进行多层特征融合对性能的影响。