SiamRpn的流程
SiamRpn++是在SiamRpn的基础上进行修改,主要针对两个问题
1、由于padding会破坏特征图像的平移不变性。我们知道在siamFC中训练时,因为搜索帧总是以bbox为中心进行采样,所以会导致网络在训练时总是给中间的anchor更多的权重。因此无法使用深层的网络,因为深层网络需要添加padding,会导致搜索帧的bbox发生偏移,我们所采取的方法是在获取search frame的时候,让bbox在整个搜索帧的位置发生偏移,这样使得bbox不是总在图像中间,能够解决平移不变性的问题。
2、由于在siamRpn中的搜索帧以及模板帧的参数数量严重的不平衡,所以我们提出Depth-wise Cross Correlation Layer,进行互相关的搜索帧以及模板帧w1xh1xchannel1.w2,h2xchanel1,他们的通道数相同,然后每个feature map进行互相关,最后生成w3xh3xchanle1,再对其进行一个1x1的卷积来升维
Siamrpn++会融合三个rpn层通过
来进行预测框的回归以及分类预测。由于模板层的添加了padding使得模板层的特征图过大,大概是15x15,所以我们只从中间取7x7,通过获取conv4所产生的特征图,我们发现相同的类别在同一个channel有高响应值
loss使用的是分类损失函数以及L1loss的回归损失
与传统卷积不同,可以平衡模板分支与搜索分支的参数,每个卷积核的每一片对应feature map的每一片,比如feature map 是 256x256x3,传统的卷积核是3x3x4x4,而depth-wise就是3x4x4就Ok.这个可以用于模板与搜索互相关,然后再通过1x1卷积融合特征升维度