Pytorch神经网络之优化器

在PyTorch中，优化器用于更新神经网络的参数，以最小化损失函数。PyTorch提供了多种优化器，常用的包括：

1. SGD（随机梯度下降）优化器：`torch.optim.SGD`。SGD是最基本的优化算法之一，它根据梯度的负方向更新参数。可以设置学习率、动量和权重衰减等参数。

2. Adam优化器：`torch.optim.Adam`。Adam是一种自适应学习率的优化算法，它结合了AdaGrad和RMSProp的优点。它可以自动调整学习率，并且在训练初期和后期都表现良好。

3. Adagrad优化器：`torch.optim.Adagrad`。Adagrad根据参数的历史梯度进行学习率调整，对于稀疏数据或具有不同尺度的特征适用。

4. RMSProp优化器：`torch.optim.RMSprop`。RMSProp也是一种自适应学习率的优化算法，它通过使用梯度平方的移动平均来调整学习率。

5. AdamW优化器：`torch.optim.AdamW`。AdamW是Adam优化器的一种变体，它在优化器更新步骤中引入了权重衰减（weight decay）的正则化项。

这只是一小部分常用的优化器，PyTorch还提供了其他优化器，如Adadelta、Adamax、SparseAdam等。选择哪种优化器取决于具体的任务和数据集，需要根据实际情况进行选择和调整参数。

使用优化器的一般流程如下：

1. 创建神经网络模型。
2. 创建优化器对象，将神经网络的参数传递给优化器。
3. 在每个训练迭代中，计算损失函数。
4. 调用优化器的`zero_grad()`方法，将梯度置零。
5. 调用损失函数的`backward()`方法，执行反向传播，计算梯度。
6. 调用优化器的`step()`方法，根据梯度更新神经网络的参数。

这样，通过迭代训练数据并更新参数，可以逐渐优化神经网络模型。

实例：

# 优化器
import torch
import torchvision
from torch import nn
from torch.nn import Sequential,Conv2d,MaxPool2d,Flatten,Linear
from torch.utils.data import DataLoader

data=torchvision.datasets.CIFAR10(root='../chap4_Dataset_transforms/dataset',train=False,transform=torchvision.transforms.ToTensor())

data_loader=DataLoader(dataset=data,batch_size=64)

class Sjnet(nn.Module):
    def __init__(self):
        super(Sjnet, self).__init__()
        self.mode=Sequential(
            Conv2d(3,32,5,padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024,64),
            Linear(64,10)
        )
    def forward(self,x):
        x=self.mode(x)
        return x

sjnet=Sjnet()
loss=nn.CrossEntropyLoss() #是PyTorch中的一个损失函数，用于多分类问题的交叉熵损失计算。它通常用于训练分类模型，其中模型的输出是一个概率分布，表示每个类别的概率。

#创建一个torch.optim.SGD优化器对象
optim=torch.optim.SGD(sjnet.parameters(),lr=0.01)#传递神经网络的参数sjnet.parameters()以及学习率lr=0.01。
for i in data_loader:
    imgs,targets=i
    outputs=sjnet(imgs)
    #print(outputs)  输出的是该imgs，包括属于某种类型的概率
    #print(targets)  实际类型标签
    result=loss(outputs,targets)
    optim.zero_grad() #将神经网络的梯度置零，以准备进行反向传播
    result.backward() #执行反向传播，计算神经网络中各个参数的梯度
    optim.step()#调用优化器的step()方法，根据计算得到的梯度更新神经网络的参数，完成一次参数更新

首先，创建了一个"Sjnet"神经网络的实例，并赋值给变量sjnet。然后，创建了一个nn.CrossEntropyLoss()对象，并赋值给变量loss，用于计算交叉熵损失。接下来，创建了一个torch.optim.SGD优化器对象，并传递了神经网络的参数sjnet.parameters()以及学习率lr=0.01。

在每次循环中，从data_loader中获取一个批次的数据，其中imgs是输入图像的张量，targets是对应的目标类别标签。然后，将imgs输入到神经网络sjnet中，得到输出张量outputs，表示神经网络对输入图像的预测结果。

接下来，将outputs和targets传递给损失函数loss，计算出交叉熵损失值，并将结果赋值给变量result。

然后，调用优化器的zero_grad()方法，将神经网络的梯度置零，以准备进行反向传播。

接下来，调用result.backward()方法，执行反向传播，计算神经网络中各个参数的梯度。

最后，调用优化器的step()方法，根据计算得到的梯度更新神经网络的参数，完成一次参数更新。

这个循环会一直迭代数据加载器中的批次，直到所有的数据都被使用完为止。这样就完成了神经网络的训练过程，通过反向传播和参数更新，逐渐优化神经网络的参数，使其能够更好地预测目标类别。