python torch 学习率 StepLR的使用

最新推荐文章于 2023-12-26 10:45:28 发布

廷益--飞鸟

最新推荐文章于 2023-12-26 10:45:28 发布

阅读量362

点赞数

分类专栏： pytorch python 文章标签： python 学习

本文链接：https://blog.csdn.net/weixin_45875105/article/details/131393088

版权

python 同时被 2 个专栏收录

120 篇文章 16 订阅

订阅专栏

pytorch

8 篇文章 2 订阅

订阅专栏

该代码示例展示了在PyTorch中如何使用StepLR学习率调度器来调整ResNet50模型训练过程中的学习率。初始学习率为0.0008，模型使用Adam优化器，调度器每5个周期减少学习率，减少因子为0.910。通过绘制图表，可以观察到学习率随训练轮数的变化情况。

摘要由CSDN通过智能技术生成

python torch 学习率 StepLR的使用

在这里插入图片描述

代码

from torch.optim.lr_scheduler import StepLR
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as mp
from torchvision import models

if __name__ == '__main__':
	# 初始学习率
    initial_lr = 0.0008 
    # 循环次数
    epochs = 300
    # 模型加载
    model = models.resnet50(pretrained=False)
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.Adam(model.parameters(), lr=initial_lr)
    scheduler_1 = StepLR(optimizer, step_size=5, gamma=0.910)
	
	# 循环学习
    lr_lst = []
    index_lst = []
    for index, epoch in enumerate(range(epochs)):
        optimizer.zero_grad()
        optimizer.step()
        print("第%d轮的学习率：%.7f" % (epoch, optimizer.param_groups[0]['lr']))
        scheduler_1.step()
        lr_lst.append(optimizer.param_groups[0]['lr'])
        index_lst.append(index)
	
	# 图片显示
    mp.figure('LR', facecolor='lightgray')
    mp.subplot(111)
    mp.title('Lr scheduler', fontsize=16)
    mp.plot(index_lst, lr_lst, label='lr')
    mp.grid(linestyle=':')
    mp.legend()

    mp.tight_layout()
    mp.show()