pytorch学习笔记（十一）

満湫

已于 2024-01-22 21:07:37 修改

阅读量634

点赞数 5

文章标签： pytorch 学习笔记

于 2024-01-22 19:48:10 首次发布

本文链接：https://blog.csdn.net/weixin_44680341/article/details/135752557

版权

本文介绍了如何使用PyTorch进行模型训练，包括构建CNN模型（如Tudui），使用SGD优化器调整学习速率，以及针对CIFAR10数据集对VGG16模型进行适应性修改。同时讨论了模型的保存与加载，强调了不同方法的优缺点。

摘要由CSDN通过智能技术生成

优化器学习

把搭建好的模型拿来训练，得到最优的参数。

import torch.optim
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10("../data", train=False, transform=torchvision.transforms.ToTensor(),
                                        download=True)
dataloader = DataLoader(dataset, batch_size=1)
class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )
    def forward(self, x):
        x = self.model1(x)
        return x
#定义loss
loss = nn.CrossEntropyLoss()
tudui = Tudui()
#一开始时采用比较大的学习速率学习，后面用比较小的学习速率学习
optim = torch.optim.SGD(tudui.parameters(), lr=0.01)
for epoch in range(20):
    #在每一轮学习之前都把loss设置成0
    #在每一轮的学习过程中计算的loss都加上去
    #这个数据是表示，在每一轮的学习的过程中在这一轮的整体的loss的求和，整体误差总和
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = tudui(imgs)
        result_loss = loss(outputs, targets)
        optim.zero_grad()
        #得到每一个可调参数的梯度
        result_loss.backward()
        optim.step()
        #损失函数没有已知在变化，原因是只有单个循环下，只看了一次数据，这一次看到的数据对你下一次看到的数据预测的影响不大
        # print(result_loss)
        running_loss = running_loss + result_loss
    print(running_loss)

在debug的过程中选择最后三行，观察梯度变化

其中optim.step()会把每一步更新的梯度用于数据的更新