「Deep Learning」Note on SGDR: Stochastic Gradient Descent with Warm Restarts

最新推荐文章于 2024-05-27 09:44:01 发布
最新推荐文章于 2024-05-27 09:44:01 发布
阅读量3.1k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgyuanshaofeng/article/details/88564876
版权
本文介绍了SGDR（Stochastic Gradient Descent with Warm Restarts）方法，这是一种在梯度优化中应用重启动技术以加速收敛的策略。通过在每次重启动时以略小的学习率开始并逐渐降低，研究者在CIFAR-10和CIFAR-100等数据集上取得了新的记录。SGDR利用余弦退火策略，相较于传统学习率调整策略，可以减少2到4倍的epochs，提高训练效率。
摘要由CSDN通过智能技术生成

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/88564876

余弦退火
PyTorch的学习率策略选择有这个
好不好用，靠实际使用吧

作者：Ilya Loshchilov, Frank Hutter
单位：University of Freiburg

0 摘要

重启动restart技术在无梯度优化中被常用。粒子群重启动restart则在梯度优化中很受欢迎，用于加速收敛。作者在论文中提出一种简单的重启动技术，在任何时候都可以提升SGD的性能。在CIFAR-10和CIFAR-100上进行了实验，并取得了新的记录，3.14%和16.21%。另外，在EEG数据和下采样版本ImageNet数据上，也证明了这种方法具有优势。

1 介绍

提及残差神经网络在很多数据集上取得世界一流的结果，并且使用的是简单的SGD with Momentum/Nesterov’s Momentum。论文中Figure 1举例了"step"学习率调整策略。作者提出周期模拟温暖重启动SGD，在每次重启动，学习率初始化为比上一次稍微小的某值，然后逐渐减小这个值。论文中提及比目前使用的学习率调整策略，取得较好的结果，温暖重启动SGD会减少2倍到4倍epochs。

2 相关工作

2.1 无梯度优化中的重启动</

最低0.47元/天 解锁文章
小锋子Shawn
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CIFAR-ZOO:CIFAR基准的CNN的PyTorch实施
05-09
很棒的CIFAR动物园 状态：存档（使用PyTorch 1.7进行的最终测试，不再进行...（cos_lr） SGDR：具有温暖重启功能的随机梯度下降 （htd_lr）具有双曲线正切衰减的随机梯度下降 要求和用法 要求 Python（ > = 3.6 ）
AdamW默认的余弦退火法中周期T设置的是多少？
04-03
这种方法最初在“SGDR: Stochastic Gradient Descent with Warm Restarts”一文中被提出，由Leslie N. Smith等人于2017年介绍。在余弦退火中，学习率从一个初始值开始，然后按照余弦曲线逐渐降低，直到达到一个...
【SGDR】《SGDR：Stochastic Gradient Descent with Warm Restarts》
bryant_meng
04-12 1320
ICLR-2017。
Pytorch中的SGDR
blue_sky_wait_me
07-22 391
pytorch中既自带了学习率函数，我们也可以自定义学习率调整函数。调整函数通常随epoch的变化而变化。首先实现自定义学习率调整： 自定义学习率调整 以SGDR余弦学习率调整为例： 论文地址：https://arxiv.org/abs/1608.03983 在pytorch中的训练代码： # 第epoch值进行计算并更新学习率 def adjust_lr(optimizer, epoch, T_0=10, eta_max=0.1, eta_min=0.): if T_mul == 2:
推荐开源项目：SGDR - 随机梯度下降重启优化算法
最新发布
gitblog_00063的博客
05-27 411
推荐开源项目：SGDR - 随机梯度下降重启优化算法 项目地址:https://gitcode.com/loshchil/SGDR 1、项目介绍 SGDR：Stochastic Gradient Descent with Restarts 是一个基于Lasagne库实现的深度学习优化算法。该项目主要基于Ilya Loshchilov和Frank Hutter在2016年发表的论文 "SG...
梯度下降学习率的设定策略
得克特
04-23 1万+
发现一篇写的很好的关于学习率的文章 本文转载自卢明冬的博客-梯度下降学习率的设定策略 1.学习率的重要性 1）学习率设置太小，需要花费过多的时间来收敛 2）学习率设置较大，在最小值附近震荡却无法收敛到最小值 3）进入局部极值点就收敛，没有真正找到的最优解 4）停在鞍点处，不能够在另一维度继续下降 梯度下降算法有两个重要的控制因子：一个是步长，由学习率控制；一个是方向，由梯度指定。 2.学习率的设定...
PyTorch Cookbook（常用代码段整理合集）
风中落泪的花
05-14 712
https://zhuanlan.zhihu.com/p/59205847?
SGDR学习率调整策略
Mi_Hao_YOUNG的博客
09-03 1914
SGDR学习率调整策略 介绍 论文SGDR: STOCHASTIC GRADIENT DESCENT WITHWARM RESTARTS SGDR，以一种周期性调整学习率的方法，周期性地增大学习率 原因 梯度收敛的值可能是空间中的鞍点或者是相对较大的极小值点。 鞍点严重影响模型的学习率，较大的极小值点导致模型性能较差。 空间半径较大的极小值点，模型的泛化能力较强 因此，适度增大学习率，可以使模型更快（学习率较大）地逃离鞍点，从而加速模型收敛。同时，假如收敛的极值点的空间半径较小，更大的学习率
Learning-Rate-Schedulers-Packege-Tensorflow-PyTorch-Keras
04-07
SGDR此SGDR还具有两个变体，1.带暖重启的随机梯度下降2.带预热的随机梯度下降 步进衰减 在某些时期（即drop_epoch ）之后将学习率降低lr_decay 。 实现，超参数和常量 drop_epoch = 3 lr_decay = 0.85 def step_...
cifarSOTA:回顾CIFAR 10和100数据集分类的最新进展
05-19
西法索塔 回顾CIFAR 10和100数据集分类的最新进展 ... SGDR 纸官方的 密集网 纸官方的 金字塔滴 纸 金字塔资源 纸 ResNext 纸 广泛的资源 纸 预设资源 纸 随机深度资源 纸官方的 Resnet 纸
SGD验证代码，图像输出
06-25
SGD验证代码，图像输出，避免重复造轮子给大家整理了个，如有疑问请通知本人，不喜欢勿喷！！！
keras学习率余弦退火CosineAnnealing
01-06
keras学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理3.keras实现 1.引言 当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。 在论文Stochastic Gradient Descent with Warm Restarts中介绍主要介绍了带重启的随机梯度下
「解析」CosineLRScheduler 调度器
绿色羽毛
03-16 1万+
在深度学习的训练过程中，需要配置一些超参数，但是在配置的过程中，往往需要根据经验来设置，这对缺乏经验的小白十分不友好，因此就有了动态调整学习率的算法，统称为 LRScheduler 学习率调度器。在此推荐一种十分受欢迎的 调度器 即：CosineLRScheduler。 本文源自论文 SGDR: Stochastic Gradient Descent with Warm Restarts ，代码可参考 cosine.py。 ⚠️注意：在论文中，这个调度器被称为SGDR，但在实际使用中，它常常被称为co
PyTorch中学习率调度器可视化介绍
deephub
12-10 6788
一种帮助算法快速收敛到最优的解决方案是使用学习率调度器。学习率调度器在训练过程中根据预先定义的时间表调整学习率。通常，学习率在训练开始时设置为比较高的值，允许更快的收敛。随着训练的进行，学习率会降低，使收敛到最优，获得更好的性能。在训练过程中降低学习率也称为退火或衰减。学习率调度器有很多个，并且我们还可以自定义调度器。本文将介绍PyTorch中不同的预定义学习率调度器如何在训练期间调整学习率如果内置的学习率调度器不能满足需求，我们可以使用lambda函数定义一个调度器。
梯度下降法、学习率、优化算法笔记
weixin_43391596的博客
11-16 4583
梯度下降法、学习率、优化算法笔记
TensorFlow学习－－学习率衰减/learning rate decay
热门推荐
akadiao的博客
03-15 2万+
学习率衰减 学习率衰减（learning rate decay） 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊． 为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减． TensorFlow中实现的学习率衰减方法： tf.train.piecewise_constant...
【论文记录】Stochastic gradient descent with differentially private updates
Liu, Q. B. 的博客
01-29 959
标题
称霸Kaggle的十大深度学习技巧
量子位
08-06 3813
作者 Samuel Lynn-Evans王小新 编译自 FloydHub Blog量子位 出品 | 公众号 QbitAI在各种Kaggle竞赛的排行榜上，都有不少刚刚进入...
002 SGD、SGDM、Adagrad、RMSProp、Adam、AMSGrad、NAG
理工伪文青
05-01 589
参考 http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/Optimization.pdf 变量解释 目标：寻找使损失函L(θ)L(\theta)L(θ)数最小的模型参数θ\thetaθ 模型参数θ\thetaθ、损失函数L(θ)L(\theta)L(θ)、动量mmm SGD(Stochastic gradient descent，随机梯度下...
C余弦退火SGDR：深度学习训练的强大优化策略
C 余弦退火热启动1（SGDR：Stochastic Gradient Descent with Warm Restarts）是一篇于2017年发表在国际计算机视觉与模式识别会议（ICLR）上的研究论文，由 Ilya Loshchilov 和 Frank Hutter 两位来自德国弗莱堡大学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值