Deformable Convolution Network

2. Deformable Convolutional Networks

2.1. Deformable Convolution

二维卷积由两个步骤组成，1）在输入特征映射上采用规则网格R采样，2）采样值按w加权求和，网格R定义感受野大小和dilation。

对于输出feature map上的每个位置p0有，pn为R中的位置。

在可变形卷积中，规则网格R用以下偏移集进行增广，其中N=|R|：

公式1变为：

现在，采样是在不规则的偏移位置pn + ∆pn。由于∆pn通常是小数，所以方程（2）通过双线性插值实现：

其中p表示任意小数，q枚举feature map x 中的所有空间位置，G()是双线性插值核。

通过在相同的输入feature map上应用卷积层来获得偏移，卷积核具有于当前卷积层相同的空间分辨率和扩展性，输出偏移field与输入feature map具有相同的空间分辨率。2N channels 数对应于N个2D偏移量（上下偏移和左右偏移，所以为2N）。在训练过程中，同时学习产生特征的卷积核和偏移量，为了学习偏移量，梯度通过双线性运算进行反向传播。

2.2. Deformable RoI Pooling

在这里，整个ROI 被分为k*k个bin，每个bin左上角坐标是p0，p是bin中每个点相对于p0的坐标偏移量，其中nij是bin中像素的数量，其中Δpij是每个bin的偏移量，要注意这个偏移量是针对整个bin的，也就是说bin中每一个点的偏移和该值相同，对于(i, j)-th bin：


类似于eq(2)，在可变形变中，将offset加到空间binning positions中，eq(5)就变成了：


图三演示了如何获得偏移量，第一，ROI池生成feature map，FC层生成归一化的offsets

然后将其转换为eq(6)中的偏移量∆pij：

γ是一个预先设定的标量来调节offsets，我们设置为0.1，偏移归一化是使偏移量的learning不改变ROI大小的必要条件。

Position-Sensitive (PS) RoI Pooling是全卷积的。通过一个conv层，所有输入feature map首先被转换为每个对象类的k^2 score maps，如图4的底部分支所示。在不需要区分类别的情况下，这种score maps表示为x(i, j)，其中（i，j)枚举所有bins。在这些score maps上执行pooling操作，第(i,j)个bin的输出值是通过与该bin对应的一个分数图xi,j 的求和得到。在图4顶部的分支中，Conv层生成完整的空间分辨率offset field，对于每个ROI，PSROI池被应用于这些字段以获得规范化的偏移量∆pbij,然后这些偏移量以与上述可变形ROI池相同的方式转换为真实的offset。

2.3. Deformable ConvNets

可变形卷积模块和ROI pooling模块都具有与普通版本相同的输入和输出。因此，它们可以很容易的取代现有CNN中的普通模块。在训练中，这些增加的conv layer 和 fc layer的oofsets的学习被初始化为0，它们的学习率设为β，默认为1，它们通过Eq中的双线性插值运算进行反向传播训练。

为了将变形convnet与最先进的cnn体系结合起来。首先，一个深层卷积网络在整个输入图像上生成feature map，然后，一个浅层网络在整个输入feature map中生成结果。