Pytorch 首选的数据上传工具是 torch.utils.data.DataLoader,它可以将已经预处理完成的数据集转换成一个迭代器,迭代一次输出一个预先定义好的batch_size数量的图片
torch.utils.data.DataLoader类
1、torch.utils.data.DataLoader
(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None)
Dataloader类结合数据集和采样器,同时提供包含传入数据集的迭代器
它同时支持map_style和iterable_style类型的数据集,同时支持单进程和多进程加载数据,及自定义的加载顺序,可batch_size
2、参数详解
dataset: 将要加载的数据的数据集
batch_size(int): 每迭代加载的图像的数量
shuffle(bool):将其设置为True时,数据将会在每个epoch之后,进行打乱重新排序
sampler(Sampler): 定义在数据集中抓取样本的方法
batch_sampler(Sampler):同sampler,同时还会返回这一批样本的索引
num_workers(int):定义家在数据的线程数,默认为0,意味着只使用主线程加载数据。
。。。