小土堆-pytorch-神经网络-优化器11_笔记

优化器

pytorch官网中优化器的位置:

讲解一个小例子

for input, target in dataset:
    optimizer.zero_grad() #把上一步得到的梯度清零,以免造成其他方面的影响.
    output = model(input) # 输入经过模型,得到了一个输出
    loss = loss_fn(output, target) # output和target出现的误差
    loss.backward()               # 反向传播得到新的梯度
    optimizer.step()              # 每一个参数根据上一步的梯度进行调整

优化器的重点-算法Algorithms

优化器前2个参数是一样的 第一个是模型的参数,用来更新的,另一个是学习率.
后面的参数随着不同类型的算法改变而改变.

优化器的实战

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

# 数据集
dataset=torchvision.datasets.CIFAR10("../data",train=False,transform=torchvision.transforms.ToTensor(),download=True)

dataLoader=DataLoader(dataset,batch_size=1)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self,x):
        x=self.model1(x)
        return x
loss=nn.CrossEntropyLoss() #定义了loss
tudui=Tudui()
optim=torch.optim.SGD(tudui.parameters(),lr=0.01,)                     #这里的优化器采用随机梯度下降
for data in dataLoader:
    imgs,targets=data
    outputs=tudui(imgs)
    result_loss=loss(outputs,targets)
    optim.zero_grad()
    result_loss.backward()
    optim.step()

运行结果截图:

发现loss并没有和之前变化太多,我们需要多次循环,缩小loss
多次循环,下面是for循环改写的代码:

for epoch in range(20):
    running_loss=0.0
    for data in dataLoader:
        imgs,targets=data
        outputs=tudui(imgs)
        result_loss=loss(outputs,targets)
        optim.zero_grad()
        result_loss.backward()
        optim.step()
        running_loss=result_loss+running_loss
    print(running_loss)

运行结果截图: