正则化,老生常谈了,从最开始的dropout, weight decay ,还有early stop 等等,都是为了让网络不至于过度学习【过拟合】。但是后面大家惊奇的发现,dropout对于卷积层没啥用,基本只能用在全连接层。对此,一种用于卷积层的正则化方法就应运而生了。他叫dropBlock.
卷积正则化方法 dropBlock
首先看看为什么普通dropout对于卷积没有用。
看上图,卷积网络提取的是有空间语义的信息,每个独立的特征单元单独具备的意义不是那么大,而各个特征单元之间的连接规律,相互关系是重要的信息来源。如果只是dropout的方法,仅仅是降低了这些单元的分辨率而已,他们的连接关系,相互关系保持不变,整个网络仍然可以通过这些信息学习。而dropBlock想要做的是,把整个这些信息按照一块一块的丢弃,这样一来,他们的连接关系,相互关系就被抑制掉了。之后网络如果要学习正确的结果就需要另起炉灶,使用其他更多特征来调整网络。以上便是整个dropBlock的原理。
那么dropBlock是如何工作的,其工作流程如下图:
上面这张图大概讲讲,首先初始化随机数,使用随机数低于dro