使用torch 本地导入数据集 以Cifar10 为例

刚刚开始学习机器视觉和数据挖掘,使用了一个非常经典的数据集 Cifar10。

但是啊,通过官网下载Cifar10,速度实在是让人崩溃。因此为了开展学习我就从其他网站找了数据集下载到了本地。

下载地址很多,CSDN上一搜一大把的。

下载下来以后好多文章都在讲如何本地导入Cifar,我也尝试了一些他们的办法,但是不太好用。自己一边查阅一边实验,找打了一个基于python3.9以上版本。

分享记录一下:

import torch
from torch.utils.data import DataLoader
import torchvision.datasets as dsets
import numpy as np

train_sets = dsets.CIFAR10(root = '/ml/pycifar',     # 选择数据的根目录
                           train = True,         # 选择训练集
                           download = False)         # 从网络上下载图片

test_sets = dsets.CIFAR10(root = '/ml/pycifar',     # 选择数据的根目录
                           train = False,         # 选择测试集
                           download = False)         # 从网络上下载图片


train_loader = torch.utils.data.DataLoader(dataset = train_sets,
                                           batch_size = batch_size, 
                                           shuffle = True)  #将数据打乱
test_loader = torch.utils.data.DataLoader(dataset = test_sets,
                                          batch_size = batch_size,
                                          shuffle = True)

1.把下载好的数据集cifar-10-python.tar.gz 复制到我的目录下:/ml/pycifar。说一下这个目录(root)。python使用的是相对目录。我的项目在D盘,因此这个目录的地址是:D:\ml\pycifar

2.复制到该目录下以后,解压到当前目录。

3.一定要记得把download设置为False。有些书上写的True,它就还是会从网上下载。

执行程序,导入成功。

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
这里提供一个简单的基于PyTorch的分CIFAR10数据集的代码示例: ```python import torch import torchvision import torchvision.transforms as transforms # 定义数据预处理方法 transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) # 导入数据集 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2) # 定义分器模型 import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(-1, 16 * 5 * 5) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x net = Net() # 定义损失函数和优化器 import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 训练模型 for epoch in range(2): # 多次循环遍历数据集 running_loss = 0.0 for i, data in enumerate(trainloader, 0): # 获取输入数据 inputs, labels = data # 梯度清零 optimizer.zero_grad() # 正向传播,反向传播,优化 outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 打印统计信息 running_loss += loss.item() if i % 2000 == 1999: # 每2000个小批次打印一次 print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 2000)) running_loss = 0.0 print('Finished Training') # 测试模型 correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 在上述代码中,我们首先定义了数据的预处理方法,并且使用`torchvision.datasets.CIFAR10`导入数据集。然后我们定义了一个简单的分器模型,并且定义了损失函数和优化器。接着,我们训练了模型,并且使用测试数据集对模型进行评估。最后,我们计算了模型的准确率并输出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值