作用:
防止过拟合
什么时候过拟合:
网络参数多,训练数据少的时候,容易过拟合。
原理:
前向传播过程中暂时屏蔽一些节点,暂时不更新它的参数,这样就可以训练多个不同的网络,降低过拟合的可能。
Dropout层的位置
Dropout一般放在全连接层防止过拟合,提高模型返回能力,由于卷积层参数较少,很少有放在卷积层后面的情况,卷积层一般使用batch norm。
全连接层中一般放在激活函数层之后。
BatchNorm
BatchNorm归一化放在激活层前后好像都有,最初LeNet有一种归一化放在了激活层池化层后面,而现在普遍放在激活层前。