pytorch学习(一)利用pytorch训练一个最简单的分类器-------(基于CIFAR10数据集)的句句讲解

刚学pytorch一个月,利用这个分类器学习pytorch的如何运用,由于学习时间较短,可能有所不足,望大家进行指正
转载请注明本文连接https://blog.csdn.net/sinat_42239797/article/details/90373471
卷积核的设置及使用[https://blog.csdn.net/sinat_42239797/article/details/90646935
个人数据集的处理及加载[https://blog.csdn.net/sinat_42239797/article/details/90641659

训练一个最简单分类网络分为以下几个步骤:
1数据的加载及预处理
2网络模型的设置
3.定义损失函数及优化器
4.用训练集训练网络
5.用测试集测试网络(查看网络的性能)

1.数据的加载及预处理

1.加载数据集(训练集和测试集)
2.扩充数据集防止过拟合

#加载使用的各种包
import torchvision as tv
import torch as t
import torchvision.transforms as transforms
#扩充数据集防止过拟合
from torchvision.transforms import ToPILImage
show = ToPILImage() #可以把Tensor转换成Image,方便可视化
transform = transforms.Compose([  #transforms.Compose就是将对图像处理的方法集中起来
    transforms.RandomHorizontalFlip(),#水平翻转
    transforms.RandomCrop((32, 32), padding=4),
    transforms.ToTensor(),#转为Tensor
    #在做数据归一化之前必须要把PIL Image转成Tensor,而其他resize或crop操作则不需要。
     transforms.Normalize((0.5, 0.5 ,0.5), (0.5, 0.5, 0.5)),#归一化   
    ])
#训练集
#训练集数据的下载
trainset = tv.datasets.CIFAR10(
root='/home/cy/data/',#设置数据集的根目录
    train=True,#训练集所以是True
    download=True,
    transform=transform
)
#训练集数据的加载方式
trainloader = t.utils.data.DataLoader(
    trainset,#设置为训练集
    batch_size=4,#设置每个batch有4个样本数据
    shuffle=True,#设置对每个epoch将数据集打乱
    num_workers=2#设置使用2个子进程用来加载数据
)
#测试集
#测试集下载
testset = tv.datasets.CIFAR10(
'/home/cy/data/',
train=False,
download=True,
transform=transform#用了之前定义的transform
)
#测试集加载方式
testloader = t.utils.data.DataLoader(
    testset,
    batch_size=4,
    shuffle=False,
    num_workers=2)
#数据集10个类的定义
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

torchvision包,有四个模块:

  1. torchvision.datasets模块**:实现了常用的一些深度学习的相关的图像数据集的加载功能,比如cifar10、Imagenet、Mnist等
  2. torchvision.transforms模块:是pytorch中的图像预处理包,包含了各种图像处理的包
  3. torchvision.models模块:这个包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用的网络结构,并且提供了预训练模型,可以通过简单调用来读取网络结构和预训练模型
  4. torchvision.utils是数据包
    细节见torchvision的官方文档链接:http://pytorch.org/docs/0.3.0/torchvision/index.html

首先加载数据集
数据加载在PyTorch中非常容易,因为pytorch的torchvision包中自带

  1. MNIST,Imagenet-12,CIFAR等数据集,所有的数据集都是torch.utils.data.Dataset的子类,都包含
    __ len _ (获取数据集长度)和 _ getItem _ _ (获取数据集中每一项)两个子方法。

其次是扩充数据集防止过拟合**
1. transform = transforms.Compose
就是把多个变换组合在一起集中进行,可以集中放到这个函数下

2. transforms.RandomHorizontalFlip()
#水平翻转,这里默认的翻转概率是0.5,就是一张图片翻转或不翻转的概率是0.5

3.transforms.RandomCrop((32, 32), padding=4),
对图片进行随机裁剪,裁剪的大小是32*32的,填充是4
对这个裁剪进行一下简单介绍


                
  • 77
    点赞
  • 281
    收藏
    觉得还不错? 一键收藏
  • 29
    评论
好的,我可以帮你解答这个问题。以下是一个使用PyTorch构建CNN模型对CIFAR-10数据集进行分类的示例代码: ``` import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms # 加载数据集并进行预处理 transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2) # 定义模型 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(-1, 16 * 5 * 5) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x net = Net() # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 训练模型 for epoch in range(2): # 多次循环数据集 running_loss = 0.0 for i, data in enumerate(trainloader, 0): # 获取输入数据 inputs, labels = data # 梯度清零 optimizer.zero_grad() # 前向传播,反向传播和优化 outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 打印统计信息 running_loss += loss.item() if i % 2000 == 1999: # 每2000个小批量数据打印一次 print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 2000)) running_loss = 0.0 print('Finished Training') # 在测试集上测试模型 correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 在上面的代码示例中,我们使用了`torchvision`模块来加载和预处理CIFAR-10数据集,并使用了`DataLoader`来生成训练和测试数据集。 我们定义了一个包含两个卷积层和三个全连接层的CNN模型,并使用了ReLU激活函数和最大池化操作来提取图像中的特征。 在训练模型时,我们使用了交叉熵损失函数和随机梯度下降优化器。我们将数据集循环多次,并使用每个小批量数据进行前向传播、反向传播和优化。在每个小批量数据处理完后,我们打印损失值的统计信息。 最后,我们在测试集上测试了模型,并计算了模型的准确率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 29
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值