CNN由于固定的几何结构,导致其对几何形变的建模受到限制。为了加强CNN对形变的建模能力,文献”deformable convolution network的”提出了deformable convolution 和 deformable RoI pooling两种网络结构单元。deformable convolution 和 deformable RoI pooling都是基于通过学习一个额外的偏移(offset),使卷积核对输入feature map的采样的产生偏移,集中于感兴趣的目标区域。可以将deformable convolution , deformable RoI pooling加入现有的CNN中,并可进行端到端训练。
deformable convolution
上图为3x3标准卷积和deformable卷积。图a为标准卷积,绿色点位卷积核权重值。图b,c,d为可变形卷积,箭头表示卷积核权重的偏移。图c为可变形卷积学到了平移尺度形变,图d为旋转形变。
可变形卷积网络结构如下:
通过一个卷积层,对输入feaure map学习偏移量offset,再通过双线性插值,得到输出feature map.
标准卷积:
以 3×3 卷积核为例,首先生成卷积核采样网格点:
对于输出feature map y中的每个点p0,计算公式为:
x为输入feature map。
可变形卷积:
对于可变形卷积,在采样网格点R的基础上,加上偏移量offsets :
式中,