- 博客(2)
- 收藏
- 关注
RSS订阅原创 Dropout 深度学习
注：本文部分内容来自于其他博客，如有任何不当之处，请及时联系本人会第一时间更正删除 646583726@qq.com按照其他论文或者著作来解释Dropout： Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了（无理论证明无数学推导）
2015-05-04 21:49:32
1008
原创 momentum 深度学习
momentum是用来修改检索方向加快收敛速度的一种简单方法，一般的通过加入之前的梯度来修改更新梯度步长： 表示当前计算出来的梯度，表示上一次的梯度值，表示本次需要更新的梯度值，α表示momentum系数，是用来加权之前梯度方向对现在梯度下降方向的影响。一般的momentum系数从0.5--0.99增加。而
2015-05-04 21:14:21
3991
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人