pytorch优化器——add_param_group()介绍及示例、Yolov7 优化器代码示例

系列文章目录

pytorch优化器——add_param_group()介绍及示例、Yolov7 优化器代码示例
pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、动态调整学习率
PyTorch学习——关于tensor、Variable、nn.Parameter（）、叶子节点、非叶子节点、detach()函数、查看网络层参数
PyTorch model 返回函数总结——model.state_dict()，model.modules()，model.children()，model.parameters()
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重

---

---

前言

最近遇到了一个关于优化器的bug，困扰了我很多天，然后自己系统学习了以下pytorch优化器的知识，总结记录如下。

---

1、关于pytorch优化器

PyTorch优化器是一个用于优化神经网络模型的工具，它的作用是根据损失函数和模型参数来更新模型的参数，从而使模型的性能得到优化。PyTorch提供了多种优化器，包括SGD、Adam、Adagrad等。

PyTorch优化器的原理是通过反向传播算法计算损失函数对每个模型参数的梯度，然后根据梯度大小和学习率来更新模型参数。具体来说，优化器会根据一定的策略计算出一个梯度下降的方向，并根据这个方向对模型的参数进行调整。优化器的目标是使损失函数最小化，从而提高模型的性能。

在使用PyTorch优化器时，需要设置优化器的超参数，包括学习率、动量、权重衰减等。这些超参数的设置会影响优化器的性能和结果，因此需要根据具体的模型和数据集进行调整和优化。

总之，PyTorch优化器是神经网络模型优化的重要工具，它通过反向传播算法计算梯度，并根据一定的策略更新模型参数，从而使模型性能得到优化。

PyTorch是一种开源机器学习框架，提供了多种优化器来优化模型。以下是一些常用的优化器:

SGD：随机梯度下降优化器，是最基本的优化器之一，它计算每个样本的梯度并根据学习率更新模型参数。

Adam：自适应矩估计优化器，是一种自适应学习率优化器，它根据每个参数的梯度和梯度平方的移动平均值来计算自适应学习率。

Adagrad：自适应梯度算法优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度的平方和来计算自适应学习率。

Adadelta：自适应学习率算法优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度平方的平均值来计算自适应学习率。

RMSprop：均方根传播优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度平方的移动平均值来计算自适应学习率。

这些优化器都可以在PyTorch中使用，并且可以通过设置各种参数来进行调整和优化。

2、add_param_group()

add_param_group()是PyTorch中的一个方法，它允许用户向优化器添加一个新的参数组。参数组是一个字典，描述了特定模型参数集的参数、超参数和优化选项。当我们想要为神经网络中的不同层或参数集使用不同的学习率、权重衰减或动量时，它很有用。

add_param_group()方法接受一个字典作为输入，该字典应包含以下键:
params:需要优化的参数张量列表。
lr:参数组的学习率。
weight_decay:参数组的权重衰减值。
momentum:参数组的动量因子。
dampening:参数组动量修正的衰减。
nesterov:是否使用nesterov动量作为参数组。
可以多次调用此方法以向优化器添加不同的参数组。
示例：

import torch.optim as optim

optimizer = optim.SGD(model.parameters(), lr=0.1)

# add a new parameter group with a different learning rate and weight decay
optimizer.add_param_group({
   'params': model.fc.parameters(), 'lr': 0.01, 'weight_decay': 0.001})

# add another parameter group with a different momentum
optimizer.add_param_group({
   'params': model.conv.parameters(), 'lr': 0.1, 'momentum': 0.9})

测试：

import torch
import torch.optim as optim

# ----------------------------------- add_param_group
w1 = torch.randn(2, 2)
w1.requires_grad = True

w2 = torch.randn(2, 2)
w2.requires_grad = True

w3 = torch.randn(2, 2)
w3.requires_grad = True

# 一个参数组
optimizer_1 = optim.SGD([w1, w2], lr=0.1)
print('当前参数组个数: ', len(optimizer_1.param_groups))
print(optimizer_1.param_groups, '\n')

# 增加一个参数组
print('增加一组参数 w3\n')
optimizer_1.add_param_group({
   'params': w3, 'lr': 0.001, 'momentum': 0.8})

print('当前参数组个数: ', len(optimizer_1.param_groups))
print(optimizer_1.param_groups, '\n')

Yolov7 调用示例：

3、pytorch优化器

以下函数用到了这几个函数。
hasattr() 函数用于判断对象是否包含对应的属性。
isinstance()检查对象是否是指定的类型。
append() 向列表末尾添加元素
详细介绍转：基础函数2——enumerate()、hasattr()、isinstance()

# 构造损失函数和优化函数
# 损失
criterion = torch.nn.CrossEntropyLoss()
pg0, pg1, pg2 ,pg3= [], [], [], [] 
for name, p in model.named_modules():
    if hasattr(p, "bias") and isinstance(p.bias, nn.Parameter):  # 把带有bias属性且性质为nn.Parameter的层选出来 添加到到pg2列表
        pg2.append(p.bias) 
    if isinstance(p, nn.BatchNorm2d) or "bn" in name: # 把标准化层选出来 添加到到pg0列表
        pg0.append(p.weight)
    elif hasattr(p, "weight") and isinstance(p.weight, nn.Parameter):  # 把带有weight属性且性质为nn.Parameter的层选出来 添加到到pg1列表
        pg1.append(p.weight)
        #print('22',name,p)  # print打印出来 调试用
        
optimizer = torch.optim.SGD(pg0, lr