SiamRpn++

                                                        SiamRpn的流程

SiamRpn++是在SiamRpn的基础上进行修改,主要针对两个问题

        1、由于padding会破坏特征图像的平移不变性。我们知道在siamFC中训练时,因为搜索帧总是以bbox为中心进行采样,所以会导致网络在训练时总是给中间的anchor更多的权重。因此无法使用深层的网络,因为深层网络需要添加padding,会导致搜索帧的bbox发生偏移,我们所采取的方法是在获取search frame的时候,让bbox在整个搜索帧的位置发生偏移,这样使得bbox不是总在图像中间,能够解决平移不变性的问题。

        2、由于在siamRpn中的搜索帧以及模板帧的参数数量严重的不平衡,所以我们提出Depth-wise Cross Correlation Layer,进行互相关的搜索帧以及模板帧w1xh1xchannel1.w2,h2xchanel1,他们的通道数相同,然后每个feature map进行互相关,最后生成w3xh3xchanle1,再对其进行一个1x1的卷积来升维

Siamrpn++会融合三个rpn层通过

     

来进行预测框的回归以及分类预测。由于模板层的添加了padding使得模板层的特征图过大,大概是15x15,所以我们只从中间取7x7,通过获取conv4所产生的特征图,我们发现相同的类别在同一个channel有高响应值

 loss使用的是分类损失函数以及L1loss的回归损失

与传统卷积不同,可以平衡模板分支与搜索分支的参数,每个卷积核的每一片对应feature map的每一片,比如feature map 是 256x256x3,传统的卷积核是3x3x4x4,而depth-wise就是3x4x4就Ok.这个可以用于模板与搜索互相关,然后再通过1x1卷积融合特征升维度 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值