pytorch基础学习5

视频+笔记 【我是土堆 - PyTorch教程】学习随手记

记录代码:

完整的模型训练套路

1. 准备数据集,和对应的dataloader
2. 然后创建网络模型,定义损失函数,优化器,训练中的一些参数(记录训练的次数 #记录测试的次数 #训练的轮次epoch(为了多次进行训练))
3. 调用module.train(),使网络进入训练状态，从训练的 dataloader 中不断取数据，算出误差，放到优化器中进行优化，采用某种特定的方式展示输出，一轮结束后或特定步数后进行测试.
4. 调用tudui.eval() ,使网络进入测试状态, 要设置with torch.no_grad():,我们只需要进行测试，不需要对网络模型进行调整，更不需要利用梯度来优化.然后从测试数据集中取数据，计算误差，构建特殊指标显示出来
5. 最后可以通过一些方式来展示一下训练的网络在测试集上的效果
6. 在特定步数或某一轮可以保存模型

#Module.py
import torch
from torch import nn


#搭建神经网络
class Module(nn.Module):
    def __init__(self):
        super(Module,self).__init__()
        self.module=nn.Sequential(
            nn.Conv2d(3,32,5,stride=1,padding=2),
            nn.MaxPool2d(2),
            nn.Conv2d(32,32,5,stride=1,padding=2),
            nn.MaxPool2d(2),
            nn.Conv2d(32,64,5,stride=1,padding=2),
            nn.MaxPool2d(2),
            nn.Flatten(),#展平
            nn.Linear(64*4*4,64),
            nn.Linear(64,10)
        )
    def forward(self,x):
        x=self.module(x)
        return x

#进行验证网络模型
if __name__ == '__main__':
    snow=Module()
    input=torch.ones((64,3,32,32))
    input=snow(input)
    print(input.shape)

import torch
a=torch.tensor(5)
print(a) #tensor(5)!!!
print(a.item()) #5 !!!

import torch

output=torch.tensor([[0.1,0.2],
                     [0.05,0.4]])
print(output.argmax(1)) #输出:tensor([1, 1]) 按横坐标方向看哪个类别所占的比例大
print(output.argmax(0)) #输出:tensor([0, 1]) 按纵坐标的方向的反方向看哪个类别所占的比例大

pre=output.argmax(1)
targets=torch.tensor([0,1])
#print(pre==targets)  #输出:tensor([False,  True])
print((pre==targets).sum()) #算出对应位置相等的个数

#train.py
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

from Module import *  #把Module中的全部代码导入

#准备数据集
train_data=torchvision.datasets.CIFAR10("./datasets",train=True,transform=torchvision.transforms.ToTensor(),
                                        download=True)
test_data=torchvision.datasets.CIFAR10("./datasets",train=False,transform=torchvision.transforms.ToTensor(),
                                       download=True)

#length 长度(获得数据集的长度)
train_data_size=len(train_data)
test_data_size=len(test_data)
print("训练数据集的长度:{}".format(train_data_size))
print("测试数据集的长度:{}".format(test_data_size))

#利用dataloader来加载数据集
train_data_loader=DataLoader(train_data,batch_size=64)
test_data_loader=DataLoader(test_data,batch_size=64)

#创建网络模型
snow=Module()

#创建损失函数
loss_function=nn.CrossEntropyLoss()

#优化器 SGD随机梯度下降
learning_rate=0.01 #或者 1e-2=1*(10)^(-2)=1/100=0.01
optimizer=torch.optim.SGD(snow.parameters(),lr=learning_rate)

#设置训练网络的一些参数
total_train_step=0 #记录训练的次数
total_test_step=0 #记录测试的次数
epoch =10 #训练的轮次

#添加tensorboard
writer=SummaryWriter("./logs")

for i in range(epoch):
    print("------第{}轮训练开始------".format(i+1))

    #训练步骤开始
    snow.train() #只对特定的层有作用,看官网说明
    for data in train_data_loader:
        imgs,targets=data  # 从训练的dataloader中取数据
        output=snow(imgs)
        loss=loss_function(output,targets) #计算损失

        #优化器优化模型
        optimizer.zero_grad() #梯度清零
        loss.backward() #反向传播(反向传播得到每一个参数节点的梯度)
        optimizer.step() #参数调优

        total_train_step+=1
        if(total_train_step%100==0):
            print("训练次数:{},Loss:{}".format(total_train_step,loss))
            writer.add_scalar("train_loss",loss.item(),total_train_step)
            #add_scalar:将标量数据添加到摘要

    #评估模型是否训练好,训练完一轮,进行测试
    snow.eval() #只对特定的层有作用
    total_loss=0
    total_acccury=0
    with torch.no_grad():  #没有梯度,不进行修改
        for data in test_data_loader:
            imgs,targets=data
            output=snow(imgs)
            loss=loss_function(output,targets)
            total_loss=total_loss+loss.item()
            accuray=(output.argmax(1)==targets).sum()   #正确率
            total_acccury=total_acccury+accuray

    print("整体测试集上的Loss:{}".format(total_loss))
    print("整体测试集上的正确率:{}".format(total_acccury/test_data_size))
    writer.add_scalar("tset_loss",total_loss,total_test_step)
    writer.add_scalar("test_accuracy",total_acccury/test_data_size,total_test_step)
    total_test_step+=1

    # 保存模型1
    #torch.save(snow,"snow_{}.pth".format(i))
    #保存模型方式2 官网推荐
    torch.save(snow.state_dict(),"snow_{}.pth".format(i))
    print("模型已保存")

writer.close()