lr_scheduler_type 参数取值：学习率调度器（Learning Rate Scheduler）和优化器（Optimizer）

已于 2024-05-31 10:52:12 修改
阅读量5.2k 收藏 17
点赞数 21
分类专栏： ML&DL&NLP 文章标签： 人工智能 LLM 大模型 学习率
于 2024-05-30 11:52:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyao987/article/details/139319466
版权

前言

lr_scheduler_type 是 Huggingface transformers Trainer 的 TrainingArguments 之一。注意，如果使用 Deepspeed 启动训练，DeepSpeed 配置文件中的 optim 和 lr schedule 会覆盖传参的值。本文介绍 --lr_scheduler_type 的取值与含义（源码在 transformers/trainer_utils.py）。

在这里插入图片描述

学习率调度器与优化器

学习率调度器（Learning Rate Scheduler） 和 优化器（Optimizer） 是 LLM 训练过程中的两个关键组件，它们各自扮演不同的角色，但又相互关联。优化器的主要职责是：

  • 根据损失函数的梯度来更新模型参数。
  • 通过调整模型参数来最小化损失函数。

常见的优化器包括 SGD、Adam、RMSprop 等。优化器的行为通常由一组超参数控制，最重要的超参数之一就是学习率。本文的主角——学习率调度器（Learning Rate Scheduler）的主要职责是动态调整学习率，以便在训练过程中优化模型的性能和收敛速度。学习

最低0.47元/天 解锁文章
使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
安静到无声
04-03 288
是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
【深度学习】学习率介绍(torch.optim.lr_scheduler学习率调度策略介绍)
好记性不如烂笔头
11-11 3236
学习率基本概念介绍以及调度策略介绍
学习率调度器（Learning Rate Scheduler）
diudiumama的博客
02-10 305
学习率调度器（Learning Rate Scheduler）是一种在训练过程中动态调整学习率的工具。学习率是优化器中的一个超参数，它决定了模型参数在每次更新时的调整步幅。合适的学习率可以加速模型收敛，而不合适的学习率可能导致训练过程不稳定或收敛速度慢。
深度学习 lr_scheduler 简易的warmup装饰器
qq_40939814的博客
10-29 805
深度学习 lr_scheduler 简易的warmup装饰器
【Hugging Face】transformers.optimization 模块：优化器（Optimizer）和学习率调度器（LR Scheduler）
最新发布
彬彬侠的博客
03-12 641
transformers.optimization提供了优化器（Optimizer）和学习率调度器（LRScheduler），用于微调Transformer模型。优化器：AdamW(model.parameters(),lr=5e-5,weight_decay=0.01)。学习率调度器：get_scheduler(name,optimizer,num_warmup_steps,num_training_steps)，"linear"（线性衰减）推荐默认，"cosine"（余弦退火），"constant_wi
lr schedule
得克特
01-21 901
constant_schedule 学习率不变 def get_constant_schedule(optimizer: Optimizer, last_epoch: int = -1): return LambdaLR(optimizer, lambda _: 1, last_epoch=last_epoch) warmup def get_constant_schedule_with_warmup(optimizer: Optimizer, num_warmup_steps: int, las
系统学习Pytorch笔记六：优化器和学习率调整策略
weixin_45653897的博客
12-28 2513
Pytorch的优化器：管理并更新模型中可学习参数的值， 使得模型输出更接近真实标签。
lr_scheduler设置
qq_44858786的博客
11-20 1244
学习率调度器是一种策略，用于动态地调整学习率，以使训练过程更加有效。这些学习率调度器允许在训练期间动态地调整学习率，以满足不同的需求。一般而言，较大的学习率可以加快模型的收敛速度，而较小的学习率有助于更精细地调整模型参数，提高模型的泛化性能。在实际使用中，可以根据问题的特性、模型的训练情况和经验选择合适的学习率调度器。学习率调度器通常与优化器（optimizer）一起使用，以在训练过程中自动调整学习率。学习率调度器的主要目标是在训练的不同阶段自适应地调整学习率，以实现更好的模型性能。以指数方式降低学习率。
pytorch学习笔记(1)-optimizer.step()和scheduler.step()
Gussss的博客
10-18 2958
转https://blog.csdn.net/qq_20622615/article/details/83150963 optimizer.step()和scheduler.step()的区别 optimizer.step()通常用在每个mini-batch之中，而scheduler.step()通常用在epoch里面,但是不绝对，可以根据具体的需求来做。只有用了optimizer.step()，模型才会更新，而scheduler.step()是对lr进行调整。通常我们有 optimizer = o
torch.optim.lr_scheduler--学习率调整总结
weixin_44543648的博客
01-21 6249
参考链接：https://blog.csdn.net/qyhaill/article/details/103043637 调用例子： import torch import torch.nn as nn from torch.optim.lr_scheduler import LambdaLR initial_lr = 5 class model(nn.Module): def __init__(self): super().__init__() self.con
transformers进行学习率调整lr_scheduler（warmup）
MK422的博客
07-23 2230
【代码】transformers进行学习率调整lr_scheduler（warmup）
Keras 自适应Learning Rate (LearningRateScheduler)
热门推荐
ANDY
03-20 1万+
Learning Rate Schedules 学习率时间表旨在通过根据预定义的时间表降低学习率来调整训练期间的学习率。 常见的学习率时间表包括基于时间的衰减，阶跃衰减和指数衰减。 出于说明目的，我构建了一个在CIFAR-10上训练的卷积神经网络，使用具有不同学习率计划的随机梯度下降（SGD）优化算法来比较性能。 Constant Learning Rate 固定学习率是Keras中SGD...
Optimizer和Scheduler
博客
04-02 2359
Optimizer和Scheduler是深度学习中非常重要的两个概念，它们的作用是优化模型的训练过程。
Pytorch 学习率衰减 lr_scheduler
人生当苦无妨
03-19 8564
torch.optim.lr_scheduler 提供了一些基于 epoch 调整学习率的方法，基本使用方法如下： optimizer = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9, weight_decay=1e-5) scheduler = torch.optim.lr_scheduler.xxx() for ep...
常用lr_scheduler总结
leo0308的博客
06-13 7424
学习率网络训练中最重要的超参数之一， 通过学习率可以控制模型训练的速度。 因此， 一个好的学习率设置是非常重要的。 本文主要总结常用的学习率， 以及其用法。
深度学习_Learning Rate Scheduling
RL小站
04-05 1601
我们在训练模型时学习率的设置非常重要。我们可以通过学习率时间表（）有效地管理准确性。
深度学习中的学习率调度器（lr_scheduler）详解：以 Cosine 余弦衰减为例（中英双语）
阿正的梦工坊
02-21 1831
lr_scheduler_type = "cosine" uses cosine learning rate decay, ensuring a smooth transition from high to low learning rates.
【Python】科研代码学习：十一 Optimization (Optimizer, Scheduler)
溢流眼泪的博客
03-13 1934
无需我们自己创建一个调度器，HF会按照输入的调度器名字，自动创建对应的调度器。相当于，我们通过这个类似枚举类，来指明我们使用的是哪种调度器。可以看一下，有线性的，余弦的，多项式的，常数的，带预热的等。按照这里的学习文章，说一下重要的内容，比如这个是带预热的余弦调度器。首先最重要的一个，是。
pytroch optim(优化算法与学习率调度器)
weixin_51396863的博客
05-04 456
记录优化器与学习率调度器的使用，无参考价值，仅供本人查阅 pytroch 官方地址 Optimizer.add_param_group 向Optimizers param_groups添加一个参数组。 Optimizer.step 执行单个优化步骤（参数更新）。 Optimizer.zero_grad 将所有优化的 s 的梯度设置torch.Tensor为零。 Optimizer.state_dict 将优化器的状态作为dict. 优化算法 AdamW(params, lr=0.001, betas=.
scheduler = torch.optim.lr_scheduler.OneCylelR( AttributeError: module 'torch.optim.lr_scheduler' has no attribute 'OneCylelR'
12-19
看起来你在尝试导入PyTorch中的优化器scheduler时遇到了错误，属性`OneCylelR`并未在`torch.optim.lr_scheduler`模块中找到。实际上，正确的名称应该是`OneCycleLR`，而不是`OneCylelR`。`OneCycleLR`是PyTorch优化器学习率调度器中的一个周期性调整策略，它在训练过程中按照特定的模式改变学习率。 这是如何使用的示例： ```python from torch.optim import Adam from torch.optim.lr_scheduler import OneCycleLR # 创建Adam优化器 optimizer = Adam(model.parameters(), lr=0.001) # 创建一个OneCycleLR实例 scheduler = OneCycleLR(optimizer, max_lr=0.1, # 最大学习率 total_steps=len(train_loader), # 训练步数 pct_start=0.1, # 学习率变化开始的百分比 anneal_strategy='linear') # 学习率衰减策略 # 将学习率调度器附加到优化器上 scheduler.attach(optimizer) ``` 如果你仍然遇到AttributeError，确认一下你是否已经正确安装了最新版本的PyTorch，并且检查拼写是否完全正确。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值