pytorch学习(一)利用pytorch训练一个最简单的分类器-------(基于CIFAR10数据集)的句句讲解

这篇博客详细介绍了如何使用PyTorch训练一个基于CIFAR10数据集的简单分类器,涵盖了数据加载、预处理、网络模型设置、损失函数和优化器定义、训练与测试网络的步骤。作者分享了数据集加载、预处理方法,包括数据扩充、归一化,并解释了卷积层的作用。此外,还讨论了损失函数和优化器的选择。
摘要由CSDN通过智能技术生成

刚学pytorch一个月,利用这个分类器学习pytorch的如何运用,由于学习时间较短,可能有所不足,望大家进行指正
转载请注明本文连接https://blog.csdn.net/sinat_42239797/article/details/90373471
卷积核的设置及使用[https://blog.csdn.net/sinat_42239797/article/details/90646935
个人数据集的处理及加载[https://blog.csdn.net/sinat_42239797/article/details/90641659

训练一个最简单分类网络分为以下几个步骤:
1数据的加载及预处理
2网络模型的设置
3.定义损失函数及优化器
4.用训练集训练网络
5.用测试集测试网络(查看网络的性能)

1.数据的加载及预处理

1.加载数据集(训练集和测试集)
2.扩充数据集防止过拟合

#加载使用的各种包
import torchvision as tv
import torch as t
import torchvision.transforms as transforms
#扩充数据集防止过拟合
from torchvision.transforms import ToPILImage
show = ToPILImage() #可以把Tensor转换成Image,方便可视化
transform = transforms.Compose([  #transforms.Compose就是将对图像处理的方法集中起来
    transforms.RandomHorizontalFlip(),#水平翻转
    transforms.RandomCrop((32, 32), padding=4),
    transforms.ToTensor(),#转为Tensor
    #在做数据归一化之前必须要把PIL Image转成Tensor,而其他resize或crop操作则不需要。
     transforms.Normalize((0.5, 0.5 ,0.5), (0.5, 0.5, 0.5)),#归一化   
    ])
#训练集
#训练集数据的下载
trainset = tv.datasets.CIFAR10(
root='/home/cy/data/',#设置数据集的根目录
    train=True,#训练集所以是True
    download=True,
    transform=transform
)
#训练集数据的加载方式
trainloader = t.utils.data.DataLoader(
    trainset,#设置为训练集
    batch_size=4,#设置每个batch有4个样本数据
    shuffle=True,#设置对每个epoch将数据集打乱
    num_workers=2#设置使用2个子进程用来加载数据
)
#测试集
#测试集下载
testset = tv.datasets.CIFAR10(
'/home/cy/data/',
train=False,
download=True,
transform=transform#用了之前定义的transform
)
#测试集加载方式
testloader = t.utils.data.DataLoader(
    testset,
    batch_size=4,
    shuffle=False,
    num_workers=2)
#数据集10个类的定义
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

torchvision包,有四个模块:

  1. torchvision.datasets模块**:实现了常用的一些深度学习的相关的图像数据集的加载功能,比如cifar10、Imagenet、Mnist等
  2. torchvision.transforms模块:是pytorch中的图像预处理包,包含了各种图像处理的包
  3. torchvision.models模块:这个包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用的网络结构,并且提供了预训练模型,可以通过简单调用来读取网络结构和预训练模型
  4. torchvision.utils是数据包
    细节见torchvision的官方文档链接:http://pytorch.org/docs/0.3.0/torchvision/index.html

首先加载数据集
数据加载在PyTorch中非常容易,因为pytorch的torchvision包中自带

  1. MNIST,Imagenet-12,CIFAR等数据集,所有的数据集都是torch.utils.data.Dataset的子类,都包含
    __ len _ (获取数据集长度)和 _ getItem _ _ (获取数据集中每一项)两个子方法。

其次是扩充数据集防止过拟合**
1. transform = transforms.Compose
就是把多个变换组合在一起集中进行,可以集中放到这个函数下

2. transforms.RandomHorizontalFlip()
#水平翻转,这里默认的翻转概率是0.5,就是一张图片翻转或不翻转的概率是0.5

3.transforms.RandomCrop((32, 32), padding=4),
对图片进行随机裁剪,裁剪的大小是32*32的,填充是4
对这个裁剪进行一下简单介绍


                
评论 29
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值