む．天晴る的博客

注：本文部分内容来自于其他博客，如有任何不当之处，请及时联系本人会第一时间更正删除  646583726@qq.com 按照其他论文或者著作来解释Dropout：     Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了（无理论证明无数学推导）

momentum是用来修改检索方向加快收敛速度的一种简单方法，一般的通过加入之前的梯度来修改更新梯度步长：                                       表示当前计算出来的梯度，表示上一次的梯度值，表示本次需要更新的梯度值，α表示momentum系数，是用来加权之前梯度方向对现在梯度下降方向的影响。 一般的momentum系数从0.5--0.99增加。 而