7.初识Pytorch使用Dataloader

游客26024

已于 2022-01-31 15:31:25 修改

阅读量508

点赞数 3

分类专栏：手把手学习Pytorch 文章标签： pytorch 人工智能 python 计算机视觉

于 2021-12-27 23:14:31 首次发布

本文链接：https://blog.csdn.net/XiaoyYidiaodiao/article/details/122181729

版权

手把手学习Pytorch 专栏收录该内容

23 篇文章 13 订阅

订阅专栏

首先，查看Pytorch官网的帮助文档

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)

其参数：
在这里插入图片描述其中常用的参数有，dataset为要使用的数据集；batch_size为一次性要加载的数据个数；shuffle为是否打乱数据，True为打乱，False为不打乱；num_workers 我们加载数据为多进程还是单进程，如果是单进程就写0，如果是多进程就写>=1;在windows下如果是写多进程可能会报错，可以直接写成0，在Linux下如果有多进程则可以写多进程;drop_last为总共的数据除以batch_size是否希望有余数，若不希望有余数则True，若希望有余数则False。

其使用

简单粗暴上代码：

import torchvision
from torch.utils.data import DataLoader
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter

# 创建SummaryWriter模板
writer = SummaryWriter("logs")

# 创建transforms.ToTensor模板
tran_tensor = transforms.ToTensor()

# 创建 torchvision.datasets.CIFAR10
# root为datasets.CIFAR10的目录,train为是否是训练集;
# transforms做数据增强的方法，download数据集是否重新下载;
test_set = torchvision.datasets.CIFAR10(root ="./dataset",train=False,transforms=tran_tensor,download=True)

# 创建DataLoader 
# datasets加载数据集(test_set)，batch_size一次性加载数据的个数;
# shuffle是否洗牌，True洗牌，False不洗牌;
# num_workers多线程，0为单线程，>=1为多线程(windows下可能会报错);
# drop_last最后剩余的数据集（总数据集个数除以一次性加载的数据数）是否舍取，False不舍取，True舍取;
test_loader = DataLoader(dataset=test_set,batch_size=64,shuffle=True,num_workers=0,drop_last=False)

# 测试shuffle writer.add_images,注意这里使用的是add_images,比以前多了s
# 输入了两个epoch看看里面的图片是不是一样的，如果不一样则证明shuffle=True洗牌成功！
for epoch in range(2):
	step = 0
	for data in test_loader:
		imgs,targets = data
		writer.add_images("Epoch:{}".format(epoch), imgs, step)
		step = step+1
writer.close()