八、可变形卷积网络 （超级详细哦）

1、可变形卷积网络简单介绍

由于构造卷积神经网络 (CNN) 所用的模块（卷积核）中几何结构是固定的，因此，其几何变换建模的能力本质上是有限的。因此，在CVPR 2017年机器视觉顶级会上，MSRA微软亚洲研究院投稿的论文“Deformable Convolutional Networks”中，引入了两种新的模块来提高卷积神经网络 (CNN) 的转换建模能力，即可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)，它们对传统CNN的卷积层和池化层进行改进，都是基于在模块对空间采样的位置信息，作进一步位移调整的想法，该位移(偏移量)可以在目标任务中学习得到，并不需要额外的监督信号。新的模块可以很方便在现有的卷积神经网络 (CNN) 中取代它们的一般版本，并能很容易进行标准反向传播端到端的训练，从而得到可变形卷积网络 (deformable convolutional network)。大量的实验验证了这种的方法在目标检测和语义分割，这些复杂视觉任务上的有效性。

2、可变形卷积网络的进一步分析

可变形卷积网络(deformable convolutional network)是一种对传统方块卷积核的改进的神经网络，其引入的两个新的模块，大大提高了CNN建模几何变换的能力。下面分别对可变形卷积网络的两个新模型进行讲解。

 可变形卷积模块
可变形卷积模块，它将2D偏移添加到标准卷积中的常规采样网格的位置上，它可以使采样网格自由形变。如下图所示。

上图展示了卷积核大小为 3×3 的正常卷积和可变形卷积的采样方式，(a) 所示的正常卷积规律的采样 9 个点（绿点），(b)、 （c）、(d) 为可变形卷积，在正常的采样坐标上加上一个位移量（蓝色箭头）。其中（c）、(d) 作为 (b) 的特殊情况，展示了可变形卷积可以作为尺度变换，比例变换和旋转变换的特殊情况。
2D偏移卷积包含两步：1）用规则的网格R在输入特征映射x上采样（ 常规网络中的卷积 ）；2）对权重w加权的采样值求和（常规网络中的池化）。网格R定义了感受野的大小和扩张。例如，在常规卷积中，R={(-1,-1),(-1,0),…,(0,1),(1,1)}, 定义了一个扩张大小为1的3×3卷积核。如下图所示，卷积核的中心为（0,0）。

对于输出映射y上的每个位置 $p_0，我们有y(p_0$ )=
${\sum }_{p_n\in R}^{}w(p_n)\ast x(p_0+p_n)$ (1)，其中$p_n$枚举了R中的位置。如下图所示，是对上述公式意义的表示。

在可变形卷积中，规则的网格R通过偏移{Δ$p_n$ |n=1,…,N}增大，其中N=|R|。上述(1)方程变为：y( p_0$ )=
${\sum }_{p_n\in R}^{}w(p_n$