神经网络
qq_32051085
这个作者很懒,什么都没留下…
展开
-
神经网络优化(一)
使用反向传播算法和梯度下降算法调整神经网络中参数的取值。1.神经网络优化过程神经网络的优化过程分为两个阶段1.1第一阶段:先通过前向传播算法计算得到预测值,并将预测值和真实值做对比得出两者之间的差距。1.2第二阶段:通过反向传播算法计算损失函数对每一个参数的梯度,再根据梯度和学习率使用梯度下降算法更新每一个参数。2.梯度下降算法2.1.梯度下降算法主要用于优化单个参数的取值,...原创 2018-10-23 14:34:36 · 246 阅读 · 0 评论 -
神经网络进一步优化
学习率设置学习率过大会导致,参数在极优值两侧来回移动。学习率过小,会导致优化速度大大降低。常用指数衰减法设置学习率指数衰减法实现以下功能:decayed_learning_rate = learning_rate * decay_rate^(global_step/decay_steps)decayed_learning_rate是每一轮优化时候使用的学习率,learning_ra...原创 2018-10-23 14:36:28 · 211 阅读 · 1 评论