DropBlock

dropblock

• dropblock技术是谷歌大脑研发人员于2018年提出的一项在卷积神经网络中使用的正则化技术

何谓正则化？为什么要使用正则化技术

• 在卷积神经网络中，网络的参数非常多，为了避免出现过拟合的问题，就需要使用到正则化技术。常见的正则化如L1，L2正则化

dropblock解决的问题是什么？

• 在传统的深度神经网络中，常常在全连接层后面使用dropout操作来减少在网络学习的过程中该全连接层权重需要发生改变的数量，这是一种使用广泛的方法，但是在卷积层后面接dropout就难以奏效。
• 作者认为出现这种情况的原因在于，卷积层的特征图中相邻元素在空间上是共享语义信息的，产生这种现象的原因正是卷积操作能够提取特征，具有感受野。Dropout方法在特征图上随机的丢弃元素，但与其相邻的元素人让可以保证相对的位置的语义信息。如下面的图（b）所示，其中x代表丢弃的位置，绿色区域代表在当前特征图中具有语义信息的区域。
• 因此作者提出使用dropblock方法来改进dropout，drop(丢弃)block(成块)操作正如其名，在特征图上成块的丢弃特征，来达到有效丢弃语义信息，激励网络学到更加有效的特征。如下面的图（c）所示。