pytorch快速搭建卷积神经网络【优化器_第5课_增加参数_add_param_group】

【网络星空】

已于 2022-07-17 22:37:55 修改

阅读量749

点赞数 1

分类专栏：优化器文章标签： pytorch

于 2022-05-04 20:20:54 首次发布

本文链接：https://blog.csdn.net/weixin_42483745/article/details/124576720

版权

优化器专栏收录该内容

6 篇文章 1 订阅

订阅专栏

本文介绍了PyTorch中optimizer的add_param_group()方法，用于在优化器中添加新的参数组，并能独立设置学习率、动量等超参数。示例代码展示了如何为不同的权重分配不同的学习率和动量，这对于微调模型或管理多个学习率策略非常有用。

摘要由CSDN通过智能技术生成

理论

add_param_group()
功能：给 optimizer 管理的参数组中增加一组参数，可为该组参数定制 lr, momentum, weight_decay 等，在 finetune 中常用。
例如：optimizer_1.add_param_group({‘params’: w3, ‘lr’: 0.001, ‘momentum’: 0.8})

代码

# coding: utf-8

import torch
import torch.optim as optim

# ----------------------------------- add_param_group

w1 = torch.randn(2, 2)
w1.requires_grad = True

w2 = torch.randn(2, 2)
w2.requires_grad = True

w3 = torch.randn(2, 2)
w3.requires_grad = True

# 一个参数组
optimizer_1 = optim.SGD([w1, w2], lr=0.1)
print('当前参数组个数: ', len(optimizer_1.param_groups))
print(optimizer_1.param_groups, '\n')

# 增加一个参数组
print('增加一组参数 w3\n')
optimizer_1.add_param_group({'params': w3, 'lr': 0.001, 'momentum': 0.8})

print('当前参数组个数: ', len(optimizer_1.param_groups))
print(optimizer_1.param_groups, '\n')

print('可以看到，参数组是一个list，一个元素是一个dict，每个dict中都有lr, momentum等参数，这些都是可单独管理，单独设定，十分灵活！')

结果

当前参数组个数:  1
[{'params': [tensor([[-1.6583, -0.3996],
                     [-1.1855, -1.7234]], requires_grad=True), 
             tensor([[-1.9086,  1.3887],
                     [-2.0119, -0.7889]], requires_grad=True)], 
             'lr':   0.1, 'momentum': 0,  'dampening': 0, 'weight_decay': 0, 'nesterov': False}] 

增加一组参数 w3

当前参数组个数:  2
[{'params': [tensor([[-1.6583, -0.3996],
                     [-1.1855, -1.7234]], requires_grad=True), 
             tensor([[-1.9086,  1.3887],
                     [-2.0119, -0.7889]], requires_grad=True)], 
             'lr':   0.1, 'momentum': 0,  'dampening': 0, 'weight_decay': 0, 'nesterov': False},
 {'params': [tensor([[ 1.0240,  1.0964],
                     [ 1.8146, -0.0168]], requires_grad=True)], 
             'lr':0.001, 'momentum': 0.8, 'dampening': 0, 'weight_decay': 0, 'nesterov': False}] 

可以看到，参数组是一个list，一个元素是一个dict，每个dict中都有lr, momentum等参数，这些都是可单独管理，单独设定，十分灵活！