Object detection with location-aware deformable convolution and backward attention filtering

CVPR19针对多尺度目标检测中上下文信息不规则分布和高分辨率特征含干扰信息的问题,提出location - aware deformable convolution和backward attention filtering两个模块。以faster rcnn为基线构建网络架构,新的可变形卷积利于收集不规则目标特征,注意力机制值得尝试。
摘要由CSDN通过智能技术生成

CVPR19

动机:对multi-scale目标检测来说, context information和high-resolution的特征是很重要的。但是context information一般是不规则分布的,高分辨率特征也往往包含一些干扰的low-level信息。 为了解决这两个问题, 文章提出两个模块: location-aware deformable convolution 和 backward attention filtering。 前者提取不规则分布的context 信息,相对于一般的deformable convolution不同的是, offset estimation是通过在每个采样点用各自不同的卷积层来得到的, 这样每个点有各自不同的感受野, offset估计的更好; backward attention filtering则是用网络中semantic特征做attention map, 突出高分辨率特征中重要的信息, 压制干扰信息。

网络架构:

 以faster rcnn为baseline, RPN提取ROIs后, 每一个ROI都在backward pass产生的三个特征图上做ROI pooling, 这里使用skip pooling。三个特征同时进行, 最后FC层结束, 特征融合, 进行classification和regression。

location-aware deformable convolution:

这里举了3*3膨胀卷积, dilation size=2的例子。

至于context embeding module就是把上面介绍的location-aware deformable convolution融入如下模块:

两条支路, 上面是标准卷积, 下面是提出的卷积。

backward attention filtering module:

这个设计很类似FPN,只不过这里得semantic feature和T做的点乘, 当成了attention map来用。

小结: 感觉这个新的可变形卷积有点意思,对于收集感受野内不规则分布目标得特征会有帮助; 此外这个attention机制可以尝试。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值