论文目的: 1.本文寻找了非对称的CNN block去代替原来的标准卷积。用三个并行的kernel,dxd,1xd,dx1,output 相加。
贡献
1、提出了非对称卷积增强标准卷积提取特征能力,不需要时间花费。
2、提出AC block,不需要增加超参,替换原卷积block方便。
上图三个卷积+fuse==下图经过 (三个kernel相加以后的kernel)
三个branch并行训练的结果。
CIFAR:所有模型一样的batch-size,一样的learning-rate,可以看到ACBs的加入有明显的提升
ImageNet:AlexNet有11x11,5x5的卷积,本文还是使用了1x3和3x1的卷积。
移除BN in brach,那就在sum以后再batchnormalization,三个kernel有所不同。e.g.在实际中很少有上下flip,3x3的kernel没有意义,但水平kernel在轴对称位置会产生与原始图像相同的输出,所以部分ACB可以提取有效特征,并且鲁棒性更好。
总结:
1.skeleton比corner更重要;
2)acb可以显著增强skeleton,从而提高性能
3)与常规acb相比,在边界处加入水平和垂直内核会降低模型的性能
———————————————————————————
补充
因为结构比较简单,自己复现了一下
确实提高了一个点以上,所以叫白给的精度