Pytorch 中的 优化器

1. 介绍

torch.optim 是PyTorch库中的一个优化器模块，用于实现各种优化算法。优化器模块提供了一系列优化算法，如随机梯度下降（SGD）、Adam、Adagrad 等。这些优化算法用于调整神经网络的权重和学习率，以最小化损失函数。通过优化算法，可以帮助神经网络更快地收敛到最优解，提高训练效率和准确率。

2. 常见的优化算法

1. SGD 算法

class torch.optim.SGD(params, lr=0.001, momentum=0, dampening=0, weight_decay=0, nesterov=False, *, maximize=False, foreach=None, differentiable=False, fused=None)

optim.SGD 是 torch.optim 模块中的随机梯度下降（SGD）优化器类。它的参数介绍如下：

• params：包含网络参数的可迭代对象。通常使用模型的 parameters() 方法来获取网络的参数。 eg: SGD(myModule_1.parameters(),lr=0.01)  来优化模型的所有参数
• lr：学习率（learning rate），用于控制权重更新的步长。默认值为0.001。
• momentum：动量参数，用于加速梯度下降算法。默认值为0。
• dampening：动量的抑制因子。默认值为0。
• weight_decay：权重衰减参数，用于控制模型的正则化项。默认值为0。
• nesterov：是否使用 Nesterov 动量。默认值为False。

SGD 优化器通过调整网络的权重来最小化损失函数，核心思想是通过计算损失函数的梯度，沿着梯度的反方向更新网络的权重，从而逐步接近最优解。学习率决定了每次更新的步长，动量则决定了更新方向的惯性。通过调整学习率和动量的大小，可以影响优化过程的速度和稳定性。

 注意：在使用时 需要：

optim = torch.optim.SGD(myModule_1.parameters(),lr=0.01) 

# 模型优化的步骤：

#  首先 需要将 数据清零，再进行反向传播与优化

optim.zero_grad() # 将 数据 清零
result_loss.backward() # 反向传播，求出每个节点的梯度
optim.step()      # 进行调优

 示例：

import torch.optim
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential, CrossEntropyLoss
from torch.utils.data import DataLoader

input = torchvision.datasets.CIFAR10("../TorchVersion/dataset",train=True,
                                     transform=torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(input,batch_size=64)

class myModule(nn.Module):
    def __init__(self):
        super(myModule, self).__init__()
        self.module1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),

            Flatten(),  # 展平
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self,x):
        x = self.module1(x)
        return x

myModule_1 = myModule()
cross_loss = CrossEntropyLoss()
optim = torch.optim.SGD(myModule_1.parameters(),lr=0.01)

for epoch in range(10):
    running_loss = 0.0
    for data in dataloader:
        img, target = data
        output = myModule_1(img)
        result_loss = cross_loss(output,target)

        optim.zero_grad() # 将 数据 清零
        result_loss.backward() # 反向传播，求出每个节点的梯度
        optim.step()      # 进行调优

        # 计算每一 epoch 的损失总值，判断是否完成了优化
        running_loss = running_loss + result_loss
    print(running_loss)

 2. Adam 算法

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False, *, foreach=None, maximize=False, capturable=False, differentiable=False, fused=None)

• params‌：这是一个包含模型参数的迭代器，或者是定义了参数组的字典。这些参数是在训练过程中需要被优化的变量。
• ‌lr‌（学习率）：一个浮点数，表示每个参数更新的步长。学习率是一个重要的超参数，它决定了模型在学习过程中的速度和稳定性。
• ‌betas‌：一个包含两个浮点数的元组，通常设置为(0.9, 0.999)。这两个值分别控制一阶矩估计和二阶矩估计的指数移动平均的系数。它们有助于调整优化器的动量。
• ‌eps‌：一个小的正数，用于增加数值计算的稳定性。默认值为10−810^{-8}10−8。
• ‌weight_decay‌：一个浮点数，表示权重衰减（L2正则化）的系数。权重衰减有助于防止过拟合，通过在损失函数中添加权重的平方和来实现。

Adam算法是在2014年提出的一种基于一阶梯度的优化算法，它结合了动量（Momentum）和RMSprop（Root Mean Square Propagation）的思想，自适应地调整每个参数的学习率。

Adam算法的核心在于计算每个参数的一阶矩（即梯度的均值）和二阶矩（即梯度的未中心化方差）的指数移动平均，并利用这些矩的估计值来调整每个参数的学习率。

Adam 算法梯度的对角缩放（diagonal rescaling）具有不变性，因此很适合求解带有大规模数据或参数的问题。该算法同样适用于解决大噪声和稀疏梯度的非稳态（non-stationary）问题。超参数可以很直观地解释，并只需要少量调整。