Dropout函数

什么是dropout?

在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。深度学习中在代码中经常碰到的dropout函数是指我们在训练神经网络的过程中,随机丢弃一部分神经网络单元,只是暂时移除训练过程。即在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征

相当于以一定的概率减少训练过程中神经网络的数量,从而也使得训练的负荷减少,提高训练的速度

dropout的作用

有效的防止过拟合,大型的神经网络在小的数据集上训练时会导致过拟合

 

 

详细解释参考:http://pan.baidu.com/s/1c0Ri2Py

                         https://www.cnblogs.com/liaohuiqiang/p/9194699.html

转载于:https://www.cnblogs.com/NLP4ever/p/11047368.html

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值