理解 Deformable Convolutional Networks

最新推荐文章于 2022-04-20 19:39:46 发布

haima1998

最新推荐文章于 2022-04-20 19:39:46 发布

阅读量188

点赞数

分类专栏： deep learning

原文链接：https://zhuanlan.zhihu.com/p/52476083

版权

deep learning 专栏收录该内容

243 篇文章 17 订阅

订阅专栏

转自：https://zhuanlan.zhihu.com/p/52476083

Deformable convolution

文章提出了可变卷积和可变ROI采样。原理是一样的，就是在这些卷积或者ROI采样层上，添加了位移变量，这个变量根据数据的情况学习，偏移后，相当于卷积核每个方块可伸缩的变化，从而改变了感受野的范围，感受野成了一个多边形。

上图是在二维平面上deformable convolution和普通的convolution的描述图。（a）是普通的卷积，卷积核大小为3*3，采样点排列非常规则，是一个正方形。（b）是可变形的卷积，给每个采样点加一个offset（这个offset通过额外的卷积层学习得到），排列变得不规则。（c）和（d）是可变形卷积的两种特例。对于（c）加上offset，达到尺度变换的效果；对于（d）加上offset，达到旋转变换的效果。

如上图所示，有一个额外的conv层来学习offset，共享input feature maps。然后input feature maps和offset共同作为deformable conv层的输入，deformable conv层操作采样点发生偏移，再进行卷积。

下面是 MXNet 中关于 deformable conv 定义的代码，可以看到，首先有一个额外的channel为72(对应着3X3的kernel size ，每个点会有 X 方向和 Y 方向的偏移，（x,y）组合起来就对应着一个方向向量，3*3 =9 个像素点则需要 18 个output channel, 这样的 offset 需要预测4个group,因此最后的输出channel 是72) 的传统卷积学习offset（偏移量），然后前面的input feature maps和offset共同作为deformable conv层的输入，deformable conv层操作采样点发生偏移，再进行卷积。

res5a_branch2a_relu = mx.symbol.Activation(name='res5a_branch2a_relu', data=scale5a_branch2a, act_type='relu')
res5a_branch2b_offset = mx.symbol.Convolution(name='res5a_branch2b_offset', data = res5a_branch2a_relu,
                                              num_filter=72, pad=(2, 2), kernel=(3, 3), stride=(1, 1), dilate=(2, 2), cudnn_off=True)
res5a_branch2b = mx.contrib.symbol.DeformableConvolution(name='res5a_branch2b', data=res5a_branch2a_relu, offset=res5a_branch2b_offset,
                                                         num_filter=512, pad=(2, 2), kernel=(3, 3), num_deformable_group=4,
                                                         stride=(1, 1), dilate=(2, 2), no_bias=True)

<1> 先用一个（2*3*3 = 18）的传统卷积预测每个点的offset，这里18是因为每个点的offset是一个二维向量（确定方向），一共有3*3=9个点，故channel为18；

<2> 根据算出来的offset，计算新的9个点在特征图的上的值，由于可能算出来的offset为(0.3, 0.5)这种小数，也就是可能会需要知道特征图上(3.3,4.5)位置的值，所以作者用双线性差值计算这些经过offset修正的位置的响应；

<3> 最后就是与卷积核卷积得到最终的值。