这篇博客介绍了为解决CNN对几何形变建模能力有限的问题，提出的可变形卷积（Deformable Convolution）概念。通过学习偏移量，卷积核可以适应性地采样输入特征地图，增强对形变的建模。文中详细解析了可变形卷积的工作原理，包括如何通过双线性插值计算输出特征地图，并给出了在CNN中应用可变形卷积的代码示例及训练结果。
CNN由于固定的几何结构，导致其对几何形变的建模受到限制。为了加强CNN对形变的建模能力，文献”deformable convolution network的”提出了deformable convolution 和 deformable RoI pooling两种网络结构单元。deformable convolution 和 deformable RoI pooling都是基于通过学习一个额外的偏移（offset），使卷积核对输入feature map的采样的产生偏移，集中于感兴趣的目标区域。可以将deformable convolution ， deformable RoI pooling加入现有的CNN中，并可进行端到端训练。
deformable convolution
上图为3x3标准卷积和deformable卷积。图a为标准卷积，绿色点位卷积核权重值。图b,c,d为可变形卷积，箭头表示卷积核权重的偏移。图c为可变形卷积学到了平移尺度形变，图d为旋转形变。
可变形卷积网络结构如下：
通过一个卷积层，对输入feaure map学习偏移量offset，再通过双线性插值，得到输出feature map.
标准卷积：
以 3×3 卷积核为例，首先生成卷积核采样网格点：
对于输出feature map y中的每个点p0,计算公式为：
x为输入feature map。
可变形卷积:
对于可变形卷积，在采样网格点R的基础上，加上偏移量offsets ：
式中，
最低0.47元/天 解锁文章
6156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
