SiameseRPN笔记

《High Performance Visual Tracking with Siamese Region Proposal Network》

效果：160FPS, 高EAO

参考：　https://zhuanlan.zhihu.com/p/37856765

 

Motivation:

1. 当前的一些跟踪算法很难同时兼顾速度和精度。相关滤波类算法速度快，单精度不高；基于深度的精度高，但速度不快。

2. Siamese网络在目标跟中很多应用，但是有两个缺陷：（１）特征图卷积得到response map，无法get到尺度变化，之后要进行尺度金字塔搜索，速度慢；（２）特征图分辨率低，需要进行插值后得到最终位置，导致目标位置不精确。

 

综上所述，RPN引入使得网络在tracking的时候不需要多尺度测试，提升速度；有boundingbox regression，因此回归出来的狂更加准确。

 

 

训练框架：

左侧为传统的siamese network，用相同的网络结构对template和candidate提取特征；

中间是RPN网络，在RPN中，