pytorch优化1：学习率调度器（优化策略），用来做学习率动态调整

鉴评师_jijiboom

已于 2024-03-12 15:04:18 修改

阅读量1.7k

点赞数 15

分类专栏：深度学习pytorch 文章标签： pytorch 人工智能 python

于 2024-03-07 19:40:19 首次发布

本文链接：https://blog.csdn.net/qq_43942192/article/details/136543957

版权

深度学习pytorch 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了PyTorch中五种常见的学习率调度器（StepLR,MultiStepLR,ExponentialLR,ReduceLROnPlateau,CosineAnnealingLR）的优缺点，并提供了相应的示例代码，帮助开发者根据任务选择和调整学习率策略。

摘要由CSDN通过智能技术生成

不同的学习率调度器在实际使用中各有优缺点，下面是一些常见的学习率调度器的优缺点：

1. StepLR：
- 优点：简单易用，可以按照指定的步数调整学习率。
- 缺点：可能不够灵活，无法根据训练过程中的表现自动调整学习率。

2. MultiStepLR：
- 优点：在指定的milestones上调整学习率，相对于StepLR更灵活。
- 缺点：需要手动指定milestones，不够自适应。

3. ExponentialLR：
- 优点：按指数衰减调整学习率，可以更快地降低学习率。
- 缺点：学习率下降速度过快，可能导致训练不稳定。

4. ReduceLROnPlateau：
- 优点：根据验证集表现自动调整学习率，能够更好地应对训练过程中的波动。
- 缺点：可能在某些情况下过于保守，导致学习率调整不够及时。

5. CosineAnnealingLR：
- 优点：使用余弦函数调整学习率，可以更平滑地调整学习率，在一定程度上避免震荡。
- 缺点：可能需要调整T_max参数来平衡学习率变化的速度和频率。

在PyTorch中，常见的学习率调度器包括：
1. StepLR：按照给定的步数调整学习率。
2. MultiStepLR：在指定的milestones上调整学习率。
3. ExponentialLR：按指数衰减调整学习率。
4. ReduceLROnPlateau：根据验证集表现调整学习率。
5. CosineAnnealingLR：使用余弦函数调整学习率。

您可以根据需要选择适合您训练任务的学习率调度器，并根据具体情况调整参数。

以下是这些学习率调度器的示例代码：

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR, MultiStepLR, ExponentialLR, ReduceLROnPlateau, CosineAnnealingLR

# 示例网络模型
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = torch.nn.Linear(10, 1)

    def forward(self, x):
        x = self.fc(x)
        return x

model = Net()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# StepLR
scheduler_step = StepLR(optimizer, step_size=30, gamma=0.1)

# MultiStepLR
scheduler_multi_step = MultiStepLR(optimizer, milestones=[30, 80], gamma=0.1)

# ExponentialLR
scheduler_exp = ExponentialLR(optimizer, gamma=0.95)

# ReduceLROnPlateau
scheduler_reduce = ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=5, verbose=True)

# CosineAnnealingLR
scheduler_cosine = CosineAnnealingLR(optimizer, T_max=10)