[Extensive Reading]SOT：SiameseRPN

简介

SiameseRPN：High Performance Visual Tracking with Siamese Region Proposal Network
SiameseFC成功使用孪生网络成功解决SOT问题，虽然它不是真正意义上的第一个使用Siamese结果的SOT算法，但是SiameseFC之于SOT，就像SORT之于MOT，RCNN之于目标检测，甚至AlexNet之于CNN一样。
但是SiameseFC有一个致命的问题，无法适应尺度变化。就像最早的目标检测一样，当不是用SS做区域建议时，怎么解决目标尺度变化的问题：Faster R-CNN的RPN；
SiameseRPN就是在SiameseFC的基础上引入PPN，处理SOT中的目标尺度变化；
SiameseRPN用的是和SiameseFC非常相似的主干网络，最后输出的厚度不同，SiameseFC为128，SiameseRPN为256，同样no padding；
SiameseRPN相比于SiamFC，精度更高，速度更快（160fps：86fps），速度快是因为SiameseRPN不需要多尺度；

SiameseRPN在当时真的做到了最快最精准，但是在中的是CVPR2018的spotlight，而不是oral。

原理

SiameseRPN相当于SiameseFC+RPN，anchor用1/3, 1/2, 1, 2, 3；
SiameseRPN中有两套correlation操作，分别对应分类和回归，与RPN相同，而且correlation就是用卷积实现；
SiameseRPN同样是孪生网络，所以Tem和Det图像主干的输出的channel是一致的，但是最后结果的厚度是2k和4k个；
所以，Tem核的厚度需要2k和4k，与孪生网络输出结果不匹配，于是中间加了卷积Conv，同样no padding；

问题

不管是SiamFC还是SiamRPN以来，但是网络还一直都是AlexNet，换了深网络后性能没上升不说，反而带来了极大的下降。[github issue]