代码实战（小土堆）——优化器

最新推荐文章于 2024-09-15 23:05:39 发布

qq_42022648

最新推荐文章于 2024-09-15 23:05:39 发布

阅读量364

点赞数 9

分类专栏：小土堆代码实战文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/qq_42022648/article/details/135952277

版权

小土堆代码实战专栏收录该内容

22 篇文章 2 订阅

订阅专栏

本文介绍了如何在PyTorch中使用损失函数如CrossEntropyLoss训练一个简单的卷积神经网络模型，通过反向传播计算梯度并利用SGD优化器更新参数，观察到训练过程中的Loss逐渐减小。

摘要由CSDN通过智能技术生成

当使用损失函数的时候，调用损失函数的backward进行反向传播，可以求出每一个需要调节的参数对应的梯度，接着利用优化器对参数进行调整，使得误差降低。

代码

import torch
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoader

# 加载数据
dataset = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=1)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x

loss = nn.CrossEntropyLoss()
tudui = Tudui()
# 定义优化器(模型参数，学习率)
optim = torch.optim.SGD(tudui.parameters(), lr=0.01)
# 训练20轮
for epoch in range(20):
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = tudui(imgs)
        result_loss = loss(outputs, targets)
        # 梯度清零
        optim.zero_grad()
        # 反向传播求梯度
        result_loss.backward()
        # 调用优化器
        optim.step()
        # 求每一轮的loss
        running_loss = running_loss + result_loss
    print(running_loss)