Siam-RPN论文阅读笔记
摘要
Siam-RPN是继Siam-fc又提出的一个实时性比较好的网络,将检测领域中的RPN网络结构引入解决跟踪问题,给我们提供了新的思路。
论文核心
网络结构分为两个部分,第一部分是siamese network,第二部分是region proposal network.
siamese network主要就是负责特征提取的作用,本文还是重点讨论下RPN网络和在阅读时遇到的一些小问题。
网络结构图如下:
Q1:RPN中的2k和4k是什么意思?
k代表anchor的数量,anchor的数量是由anchor的比例和尺度数量相乘决定的。
Q2:anchor是在原图上打出还是特征图上?
achor都是打在原始图上
Q3:正样本和负样本怎么区分?
anchor和groundtruth的IOU大于0.6为正样本,小于0.3为负样本,那么IOU在0.3到0.6之间呢?
思考:正负样本之间的失衡是否会导致训练效果比较差?
One-shot detection
论文中有个部分叫one-shot detection,这名字如果是我翻译的话就是“一次检测”,话不多说,给出论文中的网络结构图。
首先模板是采用第一帧中的target,(模板和搜索图片做互相关,因为模板比较小,所以经过特征提取后模板就相当于卷积核,然后对特征提取过的搜索图片进行卷积操作),所以参数就是第一帧模板的参数,参数在整个tracking过程中都没有发生变化,下面的Detection Frame 就变成了一个local detection task,模板分支将类别信息放入到卷积核中,检测分支等于使用该信息进行检测。