学习笔记4——Dropout、Cutout、DropBlock正则化

1、Dropout

        为了防止训练阶段的过拟合，随即去掉神经元（完全随机扔），如下图所示：

 2、DropConnect

        没有连接在神经元上应用dropout，而是应用在连接这些神经元的权重和偏置上，（只在连接处扔，神经元不扔），如下图所示：

3、Spatial Dropout

        （按channel随即扔）

4、Cutout

        在图像中随机选取一个点作为中心点，覆盖一个固定大小的方形（在输入层上按spatial块随即扔） 

5、 DropBlock（丢弃单元邻域的区块）

        (每个feature map上按spatial块随机扔)即feature map中的的一个相邻区域，被放在一起drop掉。如下图所示：

 6、参考

《YOLOV4&5原理与源代码解析之二：DropBlock与标签平滑方法》 - JackRuiYu - 博客园

12种主要的Dropout方法：如何应用于DNNs，CNNs，RNNs中的数学和可视化解释_hecongqing的博客-CSDN博客