#每天一篇论文微习惯# Deformable ConvNets v2: More Deformable, Better Results

Deformable ConvNets v2: More Deformable, Better Results

https://github.com/4uiiurz1/pytorch-deform-conv-v2

摘要

可变形卷积网络的优越性能源于其适应物体几何变化的能力。 通过对其适应性行为的研究，我们发现，尽管其神经特征的空间支持比常规的convnet更符合对象结构，但这种支持可能远远超出感兴趣的区域，导致特征受到 不相关的图像内容。为了解决这个问题，我们提出了一个可变形convnet的重新设计，通过增加建模能力和加强训练，提高了它聚焦于相关图像区域的能力。通过在网络中更全面地集成可变形卷积，并通过引入扩展变形建模范围的调制机制，增强了建模能力。为了有效地利用这种丰富的建模能力，我们提出了一种特征模拟方案来指导网络训练，该方案帮助网络学习反映rcnn特征的对象焦点和分类能力的特征。通过提出的贡献，这个新版本的可变形convnets比原来的模型获得了显著的性能提升，并在对象检测和实例分割的coco基准测试取得了先进结果。
V1 与 V2 简单不同

在DCNV1里，Deformable Conv只学习offset：

而在DCNV2中，加入了对每个采样点的权重：

上式就是一个v2的可变形卷积操作的公式，其中△p_k和△m_k分别是采样点k的位置偏移和特征调节系数。要注意的是△p_k和△m_k分别是由不同卷积核得到的，这些卷积层都以特征x作为输入。假设有K个采样点（3x3卷积9个采样点），那么上面卷积层的分辨率和x相同，但是输出有3K个通道，2K对应每个采样点的△p_k（x，y两个方向），K个对应△m_k（要经过sigmoid）。特别重要的是得到△p_k和△m_k的卷积核的参数一开始一定要初始为0，△p_k和△m_k的初始值则为0和0.5。这些新加入的卷积层的学习率则是现有的层的0.1。△m_k就是对不同偏置的权重值，对于某些不想要的采样点权重可以学成0。

在(a)中3x3的各自中，从左往右依次为小物体，大物体，背景。从上到下为上面三种性能的可视化分析。
普通的卷积有一定刻画物体几何形变的能力。
通过引入可变形卷积，网络刻画几何形变的能力得到了加强。spatial support区域扩展到了整个物体，对于背景，也变得更大了。但是spatial support可能是不准确的,DCNv1和DCNv2对目标边缘刻画更加准确，贡献区域和贡献点比较集中，分布准确。
这三种可视化比deformable v1提出的可视化提供了更多的信息

转自简书

https://www.jianshu.com/p/23264e17d860

知乎

https://www.zhihu.com/question/303900394

github DCNetV2 Pytorch 代码

https://github.com/chengdazhi/Deformable-Convolution-V2-PyTorch
https://github.com/ChunhuanLin/deform_conv_pytorch
https://github.com/open-mmlab/mmdetection