DropBlock：谷歌提出卷积正则化方法，CNN中的正则化

arXiv新上一篇被NIPS2018会议接收的论文《DropBlock: A regularization method for convolutional networks》，作者为来自谷歌大脑的研究人员，提出了一种专门针对卷积层正则化的方法，方法非常简单，有效改进了CNN的各种任务，非常值得一读！

文中指出，在目前的神经网络训练的广泛实践中，全连接网络加DropOut是一种有效的正则化方法，但将DropOut加到卷积层却往往难以奏效。

为什么会这样呢？

作者认为这是因为卷积层的特征图中相邻位置元素在空间上共享语义信息，DropOut方法在整幅特征图随机丢弃元素，但与其相邻的元素依然可以保有该位置的语义信息。

为了更加有效丢弃局部语义信息，激励网络学到更加鲁棒有效的特征，应该按块(block)丢弃(drop)，这就是DropBlock的由来。

算法思想

那如何按块(block)丢弃(drop)呢？

大部分人第一直觉是在特征图中随机生成种子点，在种子点周围按照一定的宽高将元素置0，论文中就是这样做的。

实验结果

为了验证该方法的有效性，作者在ImageNet图像分类、COCO目标检测、PASCAL VOC 2012语义分割等三个大型真实世界数据库上的不同任务中做了实验。

都有显著的性能提升。

推荐直接看论文：https://arxiv.org/abs/1810.12890v1

目前的DropBlock参考实现代码：

PyTorch版
https://github.com/miguelvr/dropblock
https://github.com/Randl/DropBlock-pytorch
https://github.com/gan3sh500/dropblock

TensorFlow版
https://github.com/DHZS/tf-dropblock
https://github.com/shenmbsw/tensorflow-dropblock