用pytorch代码聊聊卷积正则化dropBlock及原理

正则化，老生常谈了，从最开始的dropout， weight decay ,还有early stop 等等，都是为了让网络不至于过度学习【过拟合】。但是后面大家惊奇的发现，dropout对于卷积层没啥用，基本只能用在全连接层。对此，一种用于卷积层的正则化方法就应运而生了。他叫dropBlock.

卷积正则化方法 dropBlock

首先看看为什么普通dropout对于卷积没有用。

看上图，卷积网络提取的是有空间语义的信息，每个独立的特征单元单独具备的意义不是那么大，而各个特征单元之间的连接规律，相互关系是重要的信息来源。如果只是dropout的方法，仅仅是降低了这些单元的分辨率而已，他们的连接关系，相互关系保持不变，整个网络仍然可以通过这些信息学习。而dropBlock想要做的是，把整个这些信息按照一块一块的丢弃，这样一来，他们的连接关系，相互关系就被抑制掉了。之后网络如果要学习正确的结果就需要另起炉灶，使用其他更多特征来调整网络。以上便是整个dropBlock的原理。

那么dropBlock是如何工作的，其工作流程如下图：

上面这张图大概讲讲，首先初始化随机数，使用随机数低于dro