极简笔记 Deformable Convolutional Networks
论文地址:https://arxiv.org/abs/1703.06211
文章核心是提出deformable convolution和deformable roi pooling两种结构模块,使得卷积能够自由形变,打破了方形卷积的形状约束,增强了卷积对于物体几何形变的适应性。
先讲deformable convolution,如上图,就是卷积层多出一个分支预测原始卷积核中各个bin对应的卷积位置的offset。这个offset经常是个小数,所以卷积位置的实际取值在是feature map周围像素点的线性插值。用公式表示就是,对于任意位置 p0 p 0 ,它的卷积结果就是:
y(p0)=∑pn∈Rw(pn)x(p0+pn+△pn) y ( p 0 ) = ∑ p n ∈ R w ( p n ) x ( p 0 + p n + △ p n )
其中 pn p n 属于卷积核内的相对坐标集合 R={ (−1,−1),(−1,0),...,(1,0),(1,1)} R = { ( − 1 , − 1 ) , ( − 1 , 0 ) , . . . , ( 1 , 0 ) , ( 1 , 1 ) } , △pn △ p n 就是fc层预测的offset。因为要考虑插值,所以函数 x(p) x ( p ) 表示