PyTorch(13)---优化器_随机梯度下降法

莫听穿林打叶声@

已于 2022-10-01 21:10:02 修改

阅读量342

点赞数

分类专栏： PyTorch_learn 文章标签： pytorch 深度学习机器学习

于 2022-07-28 17:52:25 首次发布

本文链接：https://blog.csdn.net/weixin_45703331/article/details/126039692

版权

PyTorch_learn 专栏收录该内容

19 篇文章 2 订阅

订阅专栏

该博客介绍了如何利用PyTorch进行反向传播和随机梯度下降法训练卷积神经网络（CNN）。代码示例展示了如何加载CIFAR10数据集，定义CNN模型，设置优化器和损失函数，并进行20轮的训练。网络结构包括多个卷积层、池化层和全连接层。

摘要由CSDN通过智能技术生成

优化器：随机梯度下降法

在这里插入图片描述

反向传播—梯度下降

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader


dataset=torchvision.datasets.CIFAR10("dataset_CIFAR10",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(dataset,batch_size=1)


class Demo(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.model1=Sequential(
            Conv2d(in_channels=3, out_channels=32, kernel_size=5, stride=1, padding=2, dilation=1, ),
            MaxPool2d(kernel_size=2, ),
            Conv2d(in_channels=32, out_channels=32, kernel_size=5, stride=1, padding=2, ),
            MaxPool2d(kernel_size=2),
            Conv2d(32, 64, 5, 1, 2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10),
        )
    def forward(self,x):
        x=self.model1(x)
        return x

demo=Demo()
loss=nn.CrossEntropyLoss()
'''优化器：随机梯度下降'''
optim=torch.optim.SGD(params=demo.parameters(),lr=0.01,)

for epoch in range(20):
    print('第------{}------轮训练开始'.format(epoch))
    running_loss=0.0  #每一轮开始之前，梯度都要设置为0
    for data in dataloader:
        imgs,targets=data
        '''送入网络进行训练'''
        outputs=demo(imgs)
        '''损失函数'''
        result_loss=loss(outputs,targets)
        '''优化器进行调优
            1、调用一个优化器：optim=torch.optim.SGD(params=demo.parameters(),lr=0.01,)
            2、将梯度初始化为0，在循环里这一步都要清0
            3、损失函数调用反向传播
            4、optim.step()
        '''
        optim.zero_grad()#首先将梯度设置为0
        result_loss.backward()#反向传播，算出梯度（梯度下降法），目的：求出最小的loss  得到需要调节的梯度
        optim.step()
        running_loss=running_loss+result_loss#在每一轮开始之前，将loss都设置为0，整体误差的总和
        #print(result_loss)
    print('第{}轮的loss值{}'.format(epoch,running_loss))