pytorch---Cosine learning rate scheduler

最新推荐文章于 2025-04-21 14:33:20 发布
最新推荐文章于 2025-04-21 14:33:20 发布
阅读量4.5k 收藏 3
点赞数 1
分类专栏： PYTORCH 文章标签： pytorch python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alphabetic/article/details/120188195
版权

余弦学习率衰减

公式：

在这里插入图片描述

需要用到lambda 表达式：

lambda：epoch: (epoch / 40) if epoch < 40 else 0.5 * (math.cos(40/100) * math.pi) + 1)

初始学习率为lr=10^-3

如果是总的100个epoch，只使用后60个应用余弦学习率衰减，那么前40个不作cosine计算，前40个epoch的学习率为：lr1=epoch/40*lr， 那么后60个epoch适用0.5 * (math.cos(40/100) * math.pi) + 1)。

计算得到最末尾的学习率为2.5x10^-4.

eg:

 

使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
安静到无声
04-03 414
是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
DeepLearning - 余弦退火热重启学习率 CosineAnnealingWarmRestartsLR
AGI
11-06 1983
CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
【学习率调整】学习率衰减之周期余弦退火 （cyclic cosine annealing learning rate schedule）
热门推荐
Roaddd的博客
01-27 2万+
1. 概述 2. 原理
大模型微调和训练的时候，cosine代表着什么意思？
最新发布
Gu_erye的博客
04-21 435
在大模型训练中，“cosine”通常涉及两种核心应用场景：​​（如cosine decay）和​​（如余弦相似度或基于余弦的损失函数）。
基于PyTorch实现cosine learning rate
linghu8812的博客
03-26 6629
1.需要用到的库 设置学习率和模型 import math import matplotlib.pyplot as plt import torch.optim as optim from torchvision.models import resnet18 lr_rate = 0.1 model = resnet18(num_classes=10) 2.LambdaLR实现cosine...
「解析」CosineLRScheduler 调度器
绿色羽毛
03-16 1万+
在深度学习的训练过程中，需要配置一些超参数，但是在配置的过程中，往往需要根据经验来设置，这对缺乏经验的小白十分不友好，因此就有了动态调整学习率的算法，统称为 LRScheduler 学习率调度器。在此推荐一种十分受欢迎的 调度器 即：CosineLRScheduler。 本文源自论文 SGDR: Stochastic Gradient Descent with Warm Restarts ，代码可参考 cosine.py。 ⚠️注意：在论文中，这个调度器被称为SGDR，但在实际使用中，它常常被称为co
pytorch实现Cosine learning rate& warmup step decay(代码&plot图都已注释，方便调试拷贝)
Mr_DaYang的博客
11-17 1万+
Cosine learning rate decay 学习率不断衰减是一个提高精度的好方法。其中有step decay和cosine decay等，前者是随着epoch增大学习率不断减去一个小的数，后者是让学习率随着训练过程曲线下降。 对于cosine decay，假设总共有T个batch（不考虑warmup阶段），在第t个batch时，学习率η_t为 注意： 图中的lr是lambda1*lr_rate的结果 便于工程上的运用，起始学习率=0.00035，尾端防止学习率为0，当lr小于0.00035时，
深度学习中的学习率调度器（lr_scheduler）详解：以 Cosine 余弦衰减为例（中英双语）
阿正的梦工坊
02-21 2623
lr_scheduler_type = "cosine" uses cosine learning rate decay, ensuring a smooth transition from high to low learning rates.
学习率设置-warm up与consine learning rate
旺仔小姐的博客
05-06 1989
warm up最早来自于这篇文章：https://arxiv.org/pdf/1706.02677.pdf。根据这篇文章，我们一般只在前5个epoch使用warm up。consine learning rate来自于这篇文章：https://arxiv.org/pdf/1812.01187.pdf。通常情况下，把warm up和consine learning rate一起使用会达到更好的效果。 代码实现： # MultiStepLR without warm up scheduler =..
基于pytorch_lightning测试resnet18不同激活方式在CIFAR10数据集上的精度
Hi20240217的博客
06-10 429
本文介绍了如何基于pytorch_lightning测试resnet18不同激活方式在CIFAR10数据集上的精度1.NoActive:没有任何激活函数2.SparseActivation:只保留topk的激活,其余清零,topk通过训练得到[初衷是想让激活变得稀疏]3.SelectiveActive:通过训练得到使用的激活函数1.pytorch_lightning 如何使用2.pytorch如何替换激活函数3.如何对自定义权值做衰减。
pytorch-scheduler（调度器）
始于足下
07-26 2220
scheduler（调度器）是一种用于调整优化算法中学习率的机制。学习率是控制模型参数更新幅度的关键超参数，而调度器根据预定的策略在训练过程中动态地调整学习率。优化器负责根据损失函数的梯度更新模型的参数，而调度器则负责调整优化过程中使用的特定参数，通常是学习率。调度器通过调整学习率帮助优化器更有效地搜索参数空间，避免陷入局部最小值，并加快收敛速度。调度器允许实现复杂的训练策略，学习率预热、周期性调整或突然降低学习率，这些策略对于优化器的性能至关重要。学习率绘图函数。
优化算法 - 学习率调度器
yingzi的技术博客
09-16 1876
为此，我们选择了一个稍微现代化的LeNet版本（激活函数使用relu而不是sigmoid，汇聚层使用最大汇聚层而不是平均汇聚层），并应用于Fashion-MNIST数据集。此外，我们混合网络以提高性能，由于大多数代码是标准的，我们只介绍基础知识，而不做进一步的详细讨论。遗憾的是，关于为什么在理论上某些策略会导致较轻的过拟合，有⼀些观点认为，较⼩的步⻓将导致参数更接近零，因此更简单。对此，⼀⽅⾯，我们可以选择⼀个⾜够⼩的学习率，从⽽防⽌⼀开始发散，然⽽这样进展太缓慢。另⼀⽅⾯，较⾼的学习率最初就会导致发散。
学习率调度器简明教程
新缸中之脑
07-03 1559
在机器学习的背景下，学习率（learning rate）是一个超参数，它决定了优化算法（如梯度下降）在尝试最小化损失函数时进行的步长。现在，让我们继续讨论学习率调度程序。学习率调度器（learning rate scheduler）是一种在训练过程中调整学习率的方法，通常会随着训练的进展而降低学习率。这有助于模型在训练开始时当参数远离其最佳值时进行大量更新，并在稍后当参数更接近其最佳值时进行较小的更新，从而允许进行更多微调。实践中广泛使用了几种学习率调度器。
Learning Schedule
进步在于积累
01-28 789
1. JAX-WS 2. Gof 3. Java J2EE Job Interview Companion 4. Collecting template
torch.optim.lr_scheduler源码和cosine学习率策略学习
Stoneplay
03-19 6201
torch.optim.lr_scheduler是PyTorch中负责调整学习率的模块，常和torch.optim.Optimizer配合使用。 class _LRScheduler(object): def __init__(self, optimizer, last_epoch=-1): # 读取相应的Optimizer if not ...
「解析」Cosine-Warmup 学习率策略
绿色羽毛
07-10 1480
梯度下降算法需要我们设置一个值，用来控制权重更新幅度，我们将其称之为学习率。它是控制模型学习速度的超参数。学习率越小，loss的变化越慢。虽然使用较低的学习速率可以确保不会错过任何局部极小值，但这也意味着模型收敛速度较慢。因此，在训练前期，权重处于随机初始化状态，我们可以设置一个相对较大的学习速率以加快收敛速度。在训练后期，权重接近最优值，使用相对较小的学习率可以防止模型在收敛的过程中发生震荡。
记录一下Pytorch中scheduler的使用
weixin_43679674的博客
02-08 8286
scheduler主要是为了在训练中以不同的测略来调整学习率，当然如果不涉及到学习率大小的变化也就用不到该函数了。 下面分别为不同的变化测略及相应的代码实例： 1，指数衰减：在训练的过程中，学习率以设定的gamma参数进行指数的衰减。 optimizer = torch.optim.SGD(net.parameters(), lr = 0.001) expr_scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma = 0...
【深度学习】学习率介绍(torch.optim.lr_scheduler学习率调度策略介绍)
好记性不如烂笔头
11-11 3350
学习率基本概念介绍以及调度策略介绍
pytorch调整模型学习率
Pr4da的博客
08-09 1797
pytorch中如何修改学习率
llama-factory微调 cuda
03-14
<think>好的，用户想了解如何使用CUDA对LLaMA-Factory进行微调。首先，我需要回忆一下LLaMA-Factory的基本情况，它是一个用于微调大模型的开源库，支持多种配置和硬件加速。用户提到了CUDA，所以需要确保他们的环境配置正确，特别是GPU相关的设置。 接下来，根据用户提供的引用内容，引用[2]提到创建Python虚拟环境，使用conda创建名为llama_factory的环境，Python版本3.11。这可能是一个关键步骤，因为环境隔离能避免依赖冲突。然后，引用[3]中的内容涉及检查CUDA是否可用，比如使用torch.cuda.is_available()，如果返回False，说明CUDA配置有问题，可能驱动没装或者PyTorch版本不对。用户需要确认PyTorch是否正确安装了支持CUDA的版本，而不是CPU版本。 引用[1]给出了启动webui的命令，其中CUDA_VISIBLE_DEVICES=0指定使用第一个GPU，这可能涉及到多GPU的情况，但用户可能只需要单卡。此外，GRADIO_SERVER_PORT设置端口号，这部分可能用户暂时不需要调整，除非端口冲突。 接下来，用户可能需要的步骤包括安装LLaMA-Factory、配置环境、准备数据集、选择微调方法等。比如，安装依赖时可能需要使用pip install -r requirements.txt，这里要确保所有依赖正确安装，特别是与CUDA相关的库，如torch、transformers等。 然后，微调脚本的参数设置也很重要，例如指定GPU设备、模型路径、数据集、微调方法（如LoRA）。用户可能需要运行类似train.py的脚本，并添加参数如--cuda_visible_devices=0，或者直接在代码中设置CUDA_VISIBLE_DEVICES环境变量。 可能的问题点：用户的环境是否正确配置，PyTorch是否支持CUDA，依赖是否安装完整，微调命令的参数是否正确。需要提醒用户检查这些步骤，并验证CUDA是否可用。 最后，用户可能需要参考官方文档或社区资源进行更详细的调整，比如多GPU训练或不同微调方法的选择。需要建议用户查阅相关文档，并提供示例命令供他们参考。</think>以下是使用CUDA对LLaMA-Factory进行微调的步骤指南： ### 一、环境准备 1. **创建虚拟环境**（避免依赖冲突） ```bash conda create --name llama_factory python==3.11 conda activate llama_factory ``` 引用[2]已验证该Python版本兼容性[^2] 2. **安装PyTorch CUDA版** ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` 安装后验证： ```python import torch print(torch.cuda.is_available()) # 应输出True print(torch.cuda.device_count()) # 显示可用GPU数量[^3] ### 二、LLaMA-Factory配置 1. **克隆仓库并安装依赖** ```bash git clone https://github.com/hiyouga/LLaMA-Factory cd LLaMA-Factory pip install -r requirements.txt ``` 2. **设置CUDA可见设备** ```bash export CUDA_VISIBLE_DEVICES=0 # 指定使用第一个GPU ``` ### 三、微调执行 ```bash python src/train_bash.py \ --stage sft \ --model_name_or_path /path/to/llama_model \ --do_train \ --dataset alpaca_gpt4_en \ --finetuning_type lora \ --output_dir /path/to/output \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --fp16 # 启用混合精度训练 ``` ### 四、验证GPU使用 通过`nvidia-smi`命令观察GPU显存占用情况，正常应显示类似： ``` +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| | 0 N/A N/A 123456 C python 15000MiB | +-----------------------------------------------------------------------------+ ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值