Dropout、DropBlock、AdaptiveDrop

都是防止过拟合、对参数进行正则化的一种方法

Dropout:

Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。（适用于全连接层）

DropBlock：

针对卷积网络，我们需要一种结构形式的dropout来正则化，即按块来丢弃。在本文中，我们引入DropBlock，这是一种结构化的dropout形式，它将feature map相邻区域中的单元放在一起drop掉。（适合用于卷积神经网络）

AdapativeDrop：

DropBlock,按区域抛弃特征，这样会引起相邻像素特征的丢失，DropBlock丢弃太多特征信息的话，会造成分类性能的降低，Adaptive Drop是一种结构化正则方法，其与注意力机制相结合，Drop特征时，没有固定的形状，故而不会抛弃太多的特征信息。