用tf.train.exponential_decay调节learning rate

最新推荐文章于 2020-12-24 09:08:00 发布
最新推荐文章于 2020-12-24 09:08:00 发布
阅读量356 收藏
点赞数
分类专栏： Tensorflow 文章标签： tensorflow 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lanlan2000/article/details/108124681
版权
在训练深度学习模型时遇到损失(loss)无法有效下降的问题，发现是学习率设置不当。原始论文中学习率为1e-3，而预训练模型使用的是1e-4。尝试使用tf.train.exponential_decay动态调整学习率，该函数根据全局步数(global_step)和衰减步数(decay_steps)按特定衰减率(decay_rate)递减学习率。原来设置的decay_steps可能导致学习率在需要调整时未及时变化。解决方案是根据每个epoch动态调整decay_steps，以更早地适应数据集的需求。
摘要由CSDN通过智能技术生成

事情的起因是这样，训练了一个模型发现Loss一直下不去，看了loss曲线以为收敛了。结果在测试数据上一塌糊涂，再跑去训练集上跑测试，结果当然比测试的好，但是很明显看出来没有训练好，因为有太过的FP。
耐心的翻了一下原始paper，发现用的learningrate 不一样，原因是原始paper是没有用Pretrain模型，而自己用了vgg pretrain 模型。paper:learning rate = 1e-3.自己是learning rate = 1e-4
一开始觉得没有错呀，如果从随机开始训练是需要一个大一些的learning rate， 如果只是finetune是需要一个小一些的learning rate，让模型更新的步子迈的小一些。看来这个不是问题的根本。然后看到自己写的那tf.train.exponential_decay。 这个是一个调节Leaning rate的一个函数

learning_rate = tf.train.exponential_decay(FLAGS.learning_rate, global_step, decay_steps=
最低0.47元/天 解锁文章
馒头苦雪的包子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow使用可变学习率进行训练（tf.train.exponential_decay）
huqinwei的专栏
10-06 5043
tensorflow提供了接口，可以直接可变学习率，在训练过程中动态改变学习率。 两种train_op，一种普通的固定学习率训练作为对比train_op，一种是可变学习率train_op2。 接口参数： 起始学习率； 训练步数计数器：用来计算何时改变学习率，之所以不自动提供，而是让你手动传入变量，可能是为了你提取监控方便一些（就如我做的一样）； 学习率改变步数阈值：就是每过多少步变一次学...
网络优化改进
weixin_30463341的博客
01-17 126
网络优化改进 网络优化的方法有很多，在这里我们使用其中一种优化方式。在我们的模型训练时候，会有一个重要的因素需要设定，就是学习率。那么在手动设定学习率的时候不一定准确。 这种人为的设定对于模型的输出影响较大。所以在这里引入了一种自动更新学习率的函数。 指数衰减学习率exponential_decay class tf.train.exponential...
tf.train.exponential_decay函数(指数衰减法)
sophicchen的专栏
12-03 3783
训练神经网络模型时通常要设置学习率learning_rate，可以直接将其设置为一个常数（通常设置0.01左右），但是在训练刚开始时，用固定学习率会使参数的更新过程显得很僵硬，不能很好的符合训练的需要；到后期参数仅需要很小变化时，学习率的值还是原来的值，会造成无法收敛，甚至越来越差的情况，过大无法收敛，过小训练太慢。 所以我们通常会采用指数衰减学习率来优化这个问题，可以通过tf.train.ex...
学习率
倔强的大萝卜的博客
03-09 9625
学习率 学习率（learning_rate）:表示了每次参数更新的幅度大小。 学习率过大：会导致待优化的参数在最小值附近进行波动； 学习率过小：会导致待优化参数收敛的速度慢 参数更新 在训练过程中，参数更新向着损失函数梯度下降的方向 其中：是梯度，就是损失函数loss的导...
Tensorflow中tf.train.exponential_decay函数(指数衰减法)
wuguangbin1230的博客
08-28 3万+
一 在Tensorflow中，为解决设定学习率(learning rate)问题，提供了指数衰减法来解决。 通过tf.train.exponential_decay函数实现指数衰减学习率。 步骤：1.首先使用较大学习率(目的：为快速得到一个比较优的解);              2.然后通过迭代逐步减小学习率(目的：为使模型在训练后期更加稳定); 代码实现： [html]
tf.train.exponential_decay（）的理解与实践
12-21
`tf.train.exponential_decay()` 函数的使用方法如下： ```python tf.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None ) ``` 1. `learning_rate`: ...
tf.keras_分类模块_DNN-selu-dropout.ipynb_keras_tf.keras_DNN分类_DNN_pl
09-29
标题中的“tf.keras_分类模块_DNN-selu-dropout.ipynb”暗示了这是一个使用TensorFlow Keras API构建的深度神经网络（DNN）模型，用于执行分类任务，并且使用了SELU激活函数和Dropout正则化策略。在描述中提到了DNN...
exp4_m.tar_integrators_matlab_exponential_
10-02
标题中的"exp4_m.tar_integrators_matlab_exponential_"暗示了一个使用Matlab实现的四阶指数积分器（exponential integrator），它专门用于解决半线性问题。这种积分器在数值解法中尤其重要，因为对于一些特定类型的...
ica.rar_ICA.p_ica ppt_ppt_独立分量
09-24
3. **估计非线性映射**：使用非线性函数（如logarithm或exponential）来寻找一个映射，使得映射后的分量具有最大的非高斯性。 4. **迭代优化**：通过梯度上升法或其他优化算法，不断调整映射函数，以最大化各个分量...
exponential.rar_matlab例程_PDF_
08-12
"matlab program for exponential function" 描述了这个压缩包的主要内容，即使用MATLAB编程来处理指数函数。标签"matlab例程"和"PDF"进一步明确了我们能期待找到的是MATLAB编写的示例代码以及可能的解释性文档，...
TensorFlow优化模型之学习率的设置
修炼之路
10-29 2万+
一、学习率 使用TensorFlow训练一个模型时，我们需要通过优化函数来使得我们训练的模型损失值达到最小，常用的优化算法有随机梯度下降、批量梯度下降，而在使用优化算法的时候，我们都需要设置一个学习率（learning rate），而学习率的设置在训练模型的时候也是非常重要的，因为学习率控制了每次更新参数的幅度。如果学习率太大就会导致更新的幅度太大，就有可能会跨过损失值的极小值（不说最小值的原因
tf.train.exponential_decay的用法
UESTC_C2_403的博客
05-15 2万+
tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False) 例如： import tensorflow as tf; import numpy as np; import matplotlib.pyplot as plt; learning_rate =
深度学习——学习率衰减(learning rate decay)
热门推荐
TianHongZXY的博客
09-08 4万+
学习率衰减(learning rate decay) 为了防止学习率过大，在收敛到全局最优点的时候会来回摆荡，所以要让学习率随着训练轮数不断按指数级下降，收敛梯度下降的学习步长。 学习率衰减可以用以下代码实现 decayed_learning_rate = learning_rate * np.power(decay_rate,(global_step / decay_steps)） de...
tf.train.exponential_decay（指数学习率衰减）
fu6543210的博客
11-05 1110
参考： https://blog.csdn.net/u013061183/article/details/79334697     #!/usr/bin/env python3 # -*- coding: utf-8 -*- '''  学习率较大容易搜索震荡（在最优值附近徘徊），学习率较小则收敛速度较慢，  那么可以通过初始定义一个较大的学习率，通过设置decay_rate来缩小学习率，...
Tensorflow 中 learning rate decay 的奇技淫巧
05-31 5478
深度学习中参数更新的方法想必大家都十分清楚了——sgd，adam等等，孰优孰劣相关的讨论也十分广泛。可是，learning rate的衰减策略大家有特别关注过吗？ 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊．为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减． learni...
学习率衰减 Learning Rate Decay
Freemanzxp
08-11 2091
Why should learning rate decay?       以目前最主流的参数优化算法Gradient Descent为例，为了让梯度下降的性能更优，我们需要将学习率设定在一个合适的范围。具体来说，学习率其实就是算法的步长，一步走多少决定了很多事情：步子大了，优化效率高，很可能一下越过最优解；相反，步子小了，优化效率低，很可能陷进一个局部最优解怎...
class5--tensorflow:学习率learning_rate
jane_6091的博客
07-09 2056
学习率表示为每次参数更新的幅度wn+1（更新后的参数）=wn（当前参数）-learning_rate*损失函数的导数例子：得到loss函数斜率最小的点。不知道为什么不直接计算梯度令其为0，是不是因为可能是局部最小点。。#设损失函数loss=（w+1）^2，令w初值为5，反向传播求最优w import tensorflow as tf w=tf.Variable(tf.constant(5,dt...
分段衰减衰减系数_深度学习中的固定学习率衰减策略总结
weixin_39931390的博客
12-24 547
深度学习中的固定学习率衰减策略总结深层神经网络的参数学习主要是通过梯度下降方法来寻找一组可以最小化结构风险的参数。 在梯度下降中学习率的取值非常关键，如果过大可能不会收敛，过小则收敛速度太慢。通常的策略的在一开始采用大的学习率保证收敛，在收敛到最优点附近时要小些以避免来回震荡。因此，比较简单直接的学习率 调整可以通过学习率衰减(Learning Rate Decay)的方式来实现。学习率衰减策略...
self.learning_rate = tf.train.exponential_decay( self.initial_learning_rate, self.global_step, self.decay_steps, self.decay_rate, self.staircase, name='learning_rate')是什么意思
最新发布
03-28
这段代码是用来设置学习率的。学习率是在训练神经网络的过程中用来控制权重更新步长的超参数。学习率越大，权重更新的步长就越大，训练速度也就越快，但是可能会导致训练过程不稳定，甚至无法收敛；学习率越小，权重更新的步长就越小，训练速度也就越慢，但是可以更好地保证训练过程的稳定性和收敛性。 上面的代码使用了指数衰减法来设置学习率。指数衰减法会随着训练步骤的增加而逐渐减小学习率，以更好地控制训练过程。其中，self.initial_learning_rate表示初始学习率，self.global_step表示训练步骤数，self.decay_steps表示学习率衰减的步骤数，self.decay_rate表示学习率衰减的速率，self.staircase表示是否按照阶梯型下降学习率。最终得到的学习率存储在self.learning_rate变量中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值