Deformable Convolutional Networks

Deformable Convolutional Networks

Deformable Conv

论文链接: https://arxiv.org/abs/1703.06211

一、 Problem Statement

传统CNN对geometric transformations variations不敏感。也就是说， 由于不同的位置可能对应于具有不同尺度或变形的对象，因此自适应确定尺度或感受野大小对于具有精细定位的视觉识别任务是有益的。

二、 Direction

提出了两个模块:

• deformable convolution
• deformable RoI(PS RoI) pooling

三、 Method

1. deformable convolution

先来看一下它的结构:

deformable convolution基于标准卷积，添加了2D offsets，来调整卷积核采样的位置。这个2D offsets是通过卷积对前面的特征图来学习。因此，这种deformable是基于输入特征图，以局部、密集和自适应的方式进行调整。

详细来说，标准卷积为以下操作:

$$y(p_0)=\sum _{p_n\in \mathbb{R}}w(p_n)\cdot x(p_0+p_n)$$

其中，$p_n$遍历的位置。

而deformable convolution基于以上的标准卷积，添加多了一个offsets项:

$$y(p_0)=\sum _{p_n\in \mathbb{R}}w(p_n)\cdot x(p_0+p_n+\Delta p_n)$$

所以，sampling这个操作是不规则的且是带有偏差的。因为通常offset $\Delta p_n$ 是小数，所以上面的式子是通过bilinear interpolation实现的。
$$x(p)=\sum _{q}G(q,p)\cdot x(q)$$

其中，$p=p_0+p_n+\Delta p_n$ 代表着任意的小数位置，而$q$代表遍历特征图$x$所有整数的空间位置。$G(\cdot ,\cdot )$是双线性插值核函数，是二维的。它可以被拆分成两个一维的卷积核:
$$G(q,p)=g(q_x,p_x)\cdot g(q_y,p_y)$$
其中，$g(a,b)=max(0,1-|a-b|)$。 最后的效果如下图所示:

根据上面所知，偏差offsets是通过对输入特征图使用卷积操作来获得的。那卷积核的大小和当前卷积层的空间分辨率相同。也就是说，输出的offset区域和输入特征图的空间分辨率是一样的。通道维度为$2N$代表着$N$个 $2D$ offsets。

2. deformable RoI pooling

先来看一下它的结构:

RoI pooling 是用来將每一个region proposal 变成同一大小的特征图。作者提出了两种RoI pooling的变形:

• deformable RoI pooling
  先来看一下它的网络结构:
  

  给定输入特征图$x$，大小为$w\times h$的RoI，和左上角顶点$p_0$，RoI pooling 会把RoI 分成$k\times k$ bins， 然后输入$k\times k$的 feature map $y$。对于$(i,j)$-th bin， 我们有:
  $$y(i,j)=\sum _{p\in bin(i,j)}x(p_0+p)/n_{ij}$$
  其中$n_{ij}$是每个bin中，像素的个数。和上面的一样，deformable RoI pooling，多添加了一个offset { Δ p i j ∣ 0 ≤ i , j ≤ j } \{\Delta p_{ij} | 0 \leq i, j \leq j\} {Δpij​∣0≤i,j≤j}，如下所示:
  $$y(i,j)=\sum _{p\in bin(i,j)}x(p_0+p+\Delta p_{ij})/n_{ij}$$
  同样，$\Delta p_{ij}$通常是小数，上面式子也使用bilinear interpolation。

  通过上图可以知道，RoI pooling会产生pooled feature maps。从pooled feature maps中，使用全连接层生成normalized offsets$\Delta {\hat{p}}_{ij}$，这个之后会通过与RoI的长度和宽度进行element-wise product，转换成offsets$\Delta p_{ij}$，如$\Delta p_{ij}=\gamma \Delta {\hat{p}}_{ij}\circ (w,h)$，这里的$\gamma$是一个预设值(0.1)，来控制offset的大小。offset normalization可以使得偏移量学习对RoI大小保持不变

• deformable PS RoI pooling
  先来看一下它的网络结构:
  

  它与RoI pooling不一样，它是全卷积网络。input feature maps通过卷积层生成了大小为$k\times k$的score maps，通道数为$C+1$对应于$C$个目标种类，1为背景。这里的$k\times k$是bin的数量。然后基于该score maps，通过PS RoI pooling 得到输出维度为$[batch,2\times (C+1),k,k]$的offsets。
  下面那个分支，通过卷积核数量为$k\times k\times (C+1)$的卷积层获得输入特征图，然后基于上面的offsets进行调整，执行deformable PS RoI pooling的操作。deformable PS RoI pooling可以看作是先插值，后进行， PS RoI pooling。

四、 Conclusion

通常deformable convolution放在backbone的最后几个卷积层。deformable convolution可以增强卷积空间采样的位置。通常感知域和采样位置在标准卷积上面是固定的，而在可变形卷积上，这是可以根据目标的大小和形状进行调整，因此目标的定位能力提升了，特别是对于不规则的目标。

Reference