pytorch——优化器使用

        使用步骤：建立一个优化器，对参数的每一个梯度清零，调用损失函数的反向传播(backward)求出每一个参数的梯度，最后对每一个参数进行调优。

        以随机最速下降法 (SGD)为例：

参数params用来指明网络中需要优化的参数，lr为学习速率。

准备数据集：

dataset = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=1)

创建网络：

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.model = nn.Sequential(
            nn.Conv2d(3, 32, 5, 1, 2),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 32, 5, padding=2),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 5, padding=2),
            nn.MaxPool2d(2),
            nn.Flatten(),
            nn.Linear(1024, 64),
            nn.Linear(64, 10),
        )

    def forward(self, x):
        x = self.model(x)
        return x

 创建对象、数据处理：

loss = nn.CrossEntropyLoss()
model = Model()
optim = torch.optim.SGD(model.parameters(), lr=0.01)#创建优化器
for data in dataloader:
    imgs, targets = data
    outputs = model(imgs)
    result_loss = loss(outputs, targets)
    optim.zero_grad()#对梯度清零
    result_loss.backward()#优化器需要每一个参数的一个梯度，在此求梯度
    optim.step()#调用优化器对每一个参数进行调优

通过debug，运行清零之后查看神经网络的权重为0： 

向下一步后，查看，计算出了每个参数对应的梯度：

再运行下一步就可以对数据进行更新。每一次的优化都很小，在实际中，需要对数据集进行成百上千次的训练，这里以20次为例：

for epoch in range(20):
    sum = 0
    for data in dataloader:
        imgs, targets = data     
        outputs = model(imgs)
        result_loss = loss(outputs, targets)
        optim.zero_grad()
        result_loss.backward()
        optim.step()
        sum = sum+result_loss
    print(sum)

 根据打印的loss结果可以知道，loss逐渐减小。