dropout解决过拟合问题
dropout可以随机丢弃一些神经元,训练时由于每次丢弃的神经元不一样,所以等同于创建多个模型,预测时会使用所有的神经元
dropout可以解决过拟合的原因
取平均的作用。
减少神经元之间复杂的共适应关系:因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况。
dropout类似于性别在生物进化中的角色:物种为了生存往往会倾向于适应这种环境,环境突变则会导致物种难以做出及时反应,性别的出现可以繁衍出适应新环境的变种,有效的阻止过拟合,即避免环境改变时物种可能面临的灭绝