神经网络优化之学习率的设置(tensorflow)
学习率learning_rate:每次参数更新的幅度
学习率设置多少合适
学习率大了震荡不收敛,学习率小了收敛速度慢。
可以通过指数衰减学习率解决
其中LEARNING_RATE_STEP一般由(总样本数/每次列入的数据个数)得到
在tensorflow中的代码:
global_step = tf.Variable(0,trainable=False)#记录当前共运行了多少轮,...
原创
2018-07-26 18:09:40 ·
4395 阅读 ·
0 评论