Dropout与Batch Normalization在网络中的作用究竟是怎样的？（以Unet网络为参考）

看过相关论文的可能都注意到了，Dropout与Batch Normalization同时使用并不能达到1+1>=2的效果，反而会适得其反，下面我就用实践来看看究竟会怎样

直接上图：

 

以上结果都是在参数一样的情况下跑的

左上：原始网络 右上：单独添加了dropout的网络

左下：单独添加了BN的网络   右下：添加了BN+dropout的网路（BN在前，dropout在后）

最后一张图：添加了BN+dropout的网路（BN在后，dropout在前）

从实验的结果看，网络一定要加BN和dropout，并且BN单独用还是要好点。下面给出实验用的网络，GitHub上的。

链接：https://pan.baidu.com/s/1_4DqFpF8ytYdS3hNw5wQUg 
提取码：ts1l