刚学pytorch一个月,利用这个分类器学习pytorch的如何运用,由于学习时间较短,可能有所不足,望大家进行指正
转载请注明本文连接https://blog.csdn.net/sinat_42239797/article/details/90373471
卷积核的设置及使用[https://blog.csdn.net/sinat_42239797/article/details/90646935
个人数据集的处理及加载[https://blog.csdn.net/sinat_42239797/article/details/90641659
训练一个最简单分类网络分为以下几个步骤:
1数据的加载及预处理
2网络模型的设置
3.定义损失函数及优化器
4.用训练集训练网络
5.用测试集测试网络(查看网络的性能)
1.数据的加载及预处理
1.加载数据集(训练集和测试集)
2.扩充数据集防止过拟合
#加载使用的各种包
import torchvision as tv
import torch as t
import torchvision.transforms as transforms
#扩充数据集防止过拟合
from torchvision.transforms import ToPILImage
show = ToPILImage() #可以把Tensor转换成Image,方便可视化
transform = transforms.Compose([ #transforms.Compose就是将对图像处理的方法集中起来
transforms.RandomHorizontalFlip(),#水平翻转
transforms.RandomCrop((32, 32), padding=4),
transforms.ToTensor(),#转为Tensor
#在做数据归一化之前必须要把PIL Image转成Tensor,而其他resize或crop操作则不需要。
transforms.Normalize((0.5, 0.5 ,0.5), (0.5, 0.5, 0.5)),#归一化
])
#训练集
#训练集数据的下载
trainset = tv.datasets.CIFAR10(
root='/home/cy/data/',#设置数据集的根目录
train=True,#训练集所以是True
download=True,
transform=transform
)
#训练集数据的加载方式
trainloader = t.utils.data.DataLoader(
trainset,#设置为训练集
batch_size=4,#设置每个batch有4个样本数据
shuffle=True,#设置对每个epoch将数据集打乱
num_workers=2#设置使用2个子进程用来加载数据
)
#测试集
#测试集下载
testset = tv.datasets.CIFAR10(
'/home/cy/data/',
train=False,
download=True,
transform=transform#用了之前定义的transform
)
#测试集加载方式
testloader = t.utils.data.DataLoader(
testset,
batch_size=4,
shuffle=False,
num_workers=2)
#数据集10个类的定义
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
torchvision包,有四个模块:
- torchvision.datasets模块**:实现了常用的一些深度学习的相关的图像数据集的加载功能,比如cifar10、Imagenet、Mnist等
- torchvision.transforms模块:是pytorch中的图像预处理包,包含了各种图像处理的包
- torchvision.models模块:这个包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用的网络结构,并且提供了预训练模型,可以通过简单调用来读取网络结构和预训练模型
- torchvision.utils是数据包
细节见torchvision的官方文档链接:http://pytorch.org/docs/0.3.0/torchvision/index.html
首先加载数据集
数据加载在PyTorch中非常容易,因为pytorch的torchvision包中自带
- MNIST,Imagenet-12,CIFAR等数据集,所有的数据集都是torch.utils.data.Dataset的子类,都包含
__ len _ (获取数据集长度)和 _ getItem _ _ (获取数据集中每一项)两个子方法。
其次是扩充数据集防止过拟合**
1. transform = transforms.Compose
就是把多个变换组合在一起集中进行,可以集中放到这个函数下
2. transforms.RandomHorizontalFlip()
#水平翻转,这里默认的翻转概率是0.5,就是一张图片翻转或不翻转的概率是0.5
3.transforms.RandomCrop((32, 32), padding=4),
对图片进行随机裁剪,裁剪的大小是32*32的,填充是4
对这个裁剪进行一下简单介绍