Partial Convolution based Padding 论文速读

1、论文背景

如今致力于提升神经网络性能的研究有很多：主要包括优化器的改进（SGD、ADAM等），激活函数的改进和混搭（RuLU、LeakyReLU、PReLU等），归一化操作的改进（Batch Norm、Instance Norm、Layer Norm等）。很少有文章试图改进padding机制，本文做的就是这样一件事情。

在此之前，主要的padding 方式有三种：0 padding、对称padding 和重复padding。

Standard approaches include zero padding (ex- tend with zeros), reflection padding (reflect the input val- ues across the border axis) and replication padding (extend by replicating the values along borders).

其中，最常用的是0 padding，而且0 padding 的计算速度更快，对称padding 和重复padding 的效果和0 padding 差不多，有时甚至更差。但是，从另一个角度来看，0 padding 可以看做是另一个孔洞，这个操作实际上对后续处理过程产生了不良的影响。

文章地址：https://arxiv.org/abs/1811.11718

github 地址：https://github.com/NVIDIA/partialconv