神经网络优化之学习率的设置(tensorflow)

学习率learning_rate:每次参数更新的幅度

这里写图片描述

学习率设置多少合适
学习率大了震荡不收敛,学习率小了收敛速度慢。
可以通过指数衰减学习率解决
这里写图片描述
其中LEARNING_RATE_STEP一般由(总样本数/每次列入的数据个数)得到
在tensorflow中的代码:
global_step = tf.Variable(0,trainable=False)#记录当前共运行了多少轮,由于这个变量只用于计数,并非训练的参数,所以我们标注为不可训练
learning_rate = tf.train.exponential_decay(
LEARNING_RATE_BASE,
global_step,
LEARNING_RATE_STEP,
LEARNING_RATE_DECAY,
staircase=True)#当为True时,学习率阶梯型衰减,当为False时,学习率是一条平滑下降的曲线

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值