用tf.train.exponential_decay调节learning rate

于 2020-08-20 15:51:31 发布
阅读量349 收藏
点赞数
分类专栏： Tensorflow 文章标签： tensorflow 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lanlan2000/article/details/108124681
版权

事情的起因是这样，训练了一个模型发现Loss一直下不去，看了loss曲线以为收敛了。结果在测试数据上一塌糊涂，再跑去训练集上跑测试，结果当然比测试的好，但是很明显看出来没有训练好，因为有太过的FP。
耐心的翻了一下原始paper，发现用的learningrate 不一样，原因是原始paper是没有用Pretrain模型，而自己用了vgg pretrain 模型。paper:learning rate = 1e-3.自己是learning rate = 1e-4
一开始觉得没有错呀，如果从随机开始训练是需要一个大一些的learning rate， 如果只是finetune是需要一个小一些的learning rate，让模型更新的步子迈的小一些。看来这个不是问题的根本。然后看到自己写的那tf.train.exponential_decay。 这个是一个调节Leaning rate的一个函数

learning_rate = tf.train.exponential_decay(FLAGS.learning_rate, global_step, decay_steps=
最低0.47元/天 解锁文章
馒头苦雪的包子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow使用可变学习率进行训练（tf.train.exponential_decay）
huqinwei的专栏
10-06 5009
tensorflow提供了接口，可以直接可变学习率，在训练过程中动态改变学习率。 两种train_op，一种普通的固定学习率训练作为对比train_op，一种是可变学习率train_op2。 接口参数： 起始学习率； 训练步数计数器：用来计算何时改变学习率，之所以不自动提供，而是让你手动传入变量，可能是为了你提取监控方便一些（就如我做的一样）； 学习率改变步数阈值：就是每过多少步变一次学...
网络优化改进
weixin_30463341的博客
01-17 118
网络优化改进 网络优化的方法有很多，在这里我们使用其中一种优化方式。在我们的模型训练时候，会有一个重要的因素需要设定，就是学习率。那么在手动设定学习率的时候不一定准确。 这种人为的设定对于模型的输出影响较大。所以在这里引入了一种自动更新学习率的函数。 指数衰减学习率exponential_decay class tf.train.exponential...
tf.train.exponential_decay函数(指数衰减法)
sophicchen的专栏
12-03 3720
训练神经网络模型时通常要设置学习率learning_rate，可以直接将其设置为一个常数（通常设置0.01左右），但是在训练刚开始时，用固定学习率会使参数的更新过程显得很僵硬，不能很好的符合训练的需要；到后期参数仅需要很小变化时，学习率的值还是原来的值，会造成无法收敛，甚至越来越差的情况，过大无法收敛，过小训练太慢。 所以我们通常会采用指数衰减学习率来优化这个问题，可以通过tf.train.ex...
学习率
倔强的大萝卜的博客
03-09 9554
学习率 学习率（learning_rate）:表示了每次参数更新的幅度大小。 学习率过大：会导致待优化的参数在最小值附近进行波动； 学习率过小：会导致待优化参数收敛的速度慢 参数更新 在训练过程中，参数更新向着损失函数梯度下降的方向 其中：是梯度，就是损失函数loss的导...
Tensorflow中tf.train.exponential_decay函数(指数衰减法)
wuguangbin1230的博客
08-28 3万+
一 在Tensorflow中，为解决设定学习率(learning rate)问题，提供了指数衰减法来解决。 通过tf.train.exponential_decay函数实现指数衰减学习率。 步骤：1.首先使用较大学习率(目的：为快速得到一个比较优的解);              2.然后通过迭代逐步减小学习率(目的：为使模型在训练后期更加稳定); 代码实现： [html]
tf.train.exponential_decay（）的理解与实践
12-21
self.learning_rate = tf.train.exponential_decay( self.initial_learning_rate, self.global_step, self.decay_steps, self.decay_rate, self.staircase = Ture, name='learning_rate') 采用了学习率衰减，...
exp4_m.tar_integrators_matlab_exponential_
10-02
An order four exponential integrator for semi-linear problems
exponential.rar_matlab例程_PDF_
08-12
matlab program for exponential function
special_function_evaluation.zip_easy _single exponential
09-23
A fast implementation of many special functions in a single easy to use file I0,I1,J0,J1,K0,K1, Y0,Y1, exponential integrals etc...
P_Exponent.rar_E-exponent_random exponential
09-22
产生服从指数分布的随机序列，用C语言编写的。可以用于通信系统的信源端。
TensorFlow优化模型之学习率的设置
修炼之路
10-29 2万+
一、学习率 使用TensorFlow训练一个模型时，我们需要通过优化函数来使得我们训练的模型损失值达到最小，常用的优化算法有随机梯度下降、批量梯度下降，而在使用优化算法的时候，我们都需要设置一个学习率（learning rate），而学习率的设置在训练模型的时候也是非常重要的，因为学习率控制了每次更新参数的幅度。如果学习率太大就会导致更新的幅度太大，就有可能会跨过损失值的极小值（不说最小值的原因
tf.train.exponential_decay的用法
UESTC_C2_403的博客
05-15 2万+
tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False) 例如： import tensorflow as tf; import numpy as np; import matplotlib.pyplot as plt; learning_rate =
深度学习——学习率衰减(learning rate decay)
热门推荐
TianHongZXY的博客
09-08 4万+
学习率衰减(learning rate decay) 为了防止学习率过大，在收敛到全局最优点的时候会来回摆荡，所以要让学习率随着训练轮数不断按指数级下降，收敛梯度下降的学习步长。 学习率衰减可以用以下代码实现 decayed_learning_rate = learning_rate * np.power(decay_rate,(global_step / decay_steps)） de...
tf.train.exponential_decay（指数学习率衰减）
fu6543210的博客
11-05 1105
参考： https://blog.csdn.net/u013061183/article/details/79334697     #!/usr/bin/env python3 # -*- coding: utf-8 -*- '''  学习率较大容易搜索震荡（在最优值附近徘徊），学习率较小则收敛速度较慢，  那么可以通过初始定义一个较大的学习率，通过设置decay_rate来缩小学习率，...
Tensorflow 中 learning rate decay 的奇技淫巧
05-31 5423
深度学习中参数更新的方法想必大家都十分清楚了——sgd，adam等等，孰优孰劣相关的讨论也十分广泛。可是，learning rate的衰减策略大家有特别关注过吗？ 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊．为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减． learni...
静态图与动态图+Tensorflow中run和.eval的区别+TensorFlow中的Learning rate decay介绍
qq_35985044的博客
05-26 2794
目前神经网络框架分为静态图框架和动态图框架，PyTorch 和 TensorFlow、Caffe 等框架最大的区别就是他们拥有不同的计算图表现形式。 TensorFlow 使用静态图，这意味着我们先定义计算图，然后不断使用它，而在 PyTorch 中，每次都会重新构建一个新的计算图。他们之间的区别和差异如下:： 动态图计算意味着程序将按照我们编写命令的顺序进行执行。...
学习率衰减 Learning Rate Decay
Freemanzxp
08-11 2076
Why should learning rate decay?       以目前最主流的参数优化算法Gradient Descent为例，为了让梯度下降的性能更优，我们需要将学习率设定在一个合适的范围。具体来说，学习率其实就是算法的步长，一步走多少决定了很多事情：步子大了，优化效率高，很可能一下越过最优解；相反，步子小了，优化效率低，很可能陷进一个局部最优解怎...
class5--tensorflow:学习率learning_rate
jane_6091的博客
07-09 2025
学习率表示为每次参数更新的幅度wn+1（更新后的参数）=wn（当前参数）-learning_rate*损失函数的导数例子：得到loss函数斜率最小的点。不知道为什么不直接计算梯度令其为0，是不是因为可能是局部最小点。。#设损失函数loss=（w+1）^2，令w初值为5，反向传播求最优w import tensorflow as tf w=tf.Variable(tf.constant(5,dt...
self.learning_rate = tf.train.exponential_decay( self.initial_learning_rate, self.global_step, self.decay_steps, self.decay_rate, self.staircase, name='learning_rate')是什么意思
最新发布
03-28
其中，self.initial_learning_rate表示初始学习率，self.global_step表示训练步骤数，self.decay_steps表示学习率衰减的步骤数，self.decay_rate表示学习率衰减的速率，self.staircase表示是否按照阶梯型下降学习率...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值