深度学习可形变卷积

深度学习可形变卷积

Deformable Convolutional Networks

参考文献链接：https://arxiv.org/pdf/1703.06211.pdf

参考代码链接：
https://github.com/ msracver/Deformable-ConvNets

可形变卷积

卷积神经网络（CNNs）由于其构建模块中固定的几何结构，其固有的局限性在于模型的几何变换。在这项工作中，引入了两个新的模块来增强CNNs的转换建模能力，即可变形卷积和可变形RoI池。这两种方法都基于这样的思想，即在不需要额外监视的情况下，使用附加偏移量来增加模块中的空间采样位置，并从目标任务中学习偏移量。新的模块可以很容易地取代现有cnn中的普通模块，并且可以通过标准的反向传播进行端到端的简单训练，从而产生可变形卷积网络。大量实验验证了该方法在复杂的目标检测和语义分割视觉任务中的有效性。

使用可变形卷积，可以提升Faster R-CNN和R-FCN在物体检测和分割上的性能。只要增加很少的计算量，就可以得到性能的提升。

传统/常规卷积基于定义的滤波器大小，在输入图像或一组输入特征图的预定义矩形网格上操作。该网格的大小可以是3×3和5×5等。然而，想要检测和分类的对象可能会在图像中变形或被遮挡。

在DCN中，网格是可变形的，因为每个网格点都可以通过一个可学习的偏移量移动。卷积作用于这些移动的网格点上，因此称为可变形卷积，类似于可变形RoI池化的情况。通过使用这两个新模块，DCN提高了DeepLab、Faster R-CNN、R-FCN、和FPN等的准确率。

最后，MSRA使用DCN+FPN+Aligned Xception在COCO Detection Challenge中获得第二名，Segmentation Challenge中获得第三名。发表于2017 ICCV，引用次数超过200次。

1. 可变形卷积

可变形卷积

· 规则的卷积是在一个规则的网格R上操作的。

· 对R进行可变形卷积运算，但每个点都增加一个可学习的偏移∆pn。

· 卷积生成2N个特征图，对应N个2D个偏移量∆pn(每个偏移量对应有x-方向和y-方向)。