from torch.utils.data import DataLoader
dataloader = DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None,num_workers=0,
collate_fn=default_collate, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None) # 实例化
torch.utils.data.DataLoader 参数介绍:
1、dataset,这个就是PyTorch已有的数据读取接口(比如torchvision.datasets.ImageFolder)或者自定义的数据接口的输出,该输出要么是torch.utils.data.Dataset类的对象,要么是继承自torch.utils.data.Dataset类的自定义类的对象。
2、batch_size,根据具体情况设置即可。
3、shuffle,一般在训练数据中会采用。默认是false不打乱顺序。
4、collate_fn,是用来处理不同情况下的输入dataset的封装,一般采用默认即可,除非你自定义的数据读取输出非常少见。
5、batch_sampler,从注释可以看出,其和batch_size、shuffle等参数是互斥的,一般采用默认。
6、sampler,采样器(Sampler,可选):定义从数据集中抽取样本的策略。 如果指定,“ shuffle”必须为False。从代码可以看出,其和shuffle是互斥的,一般默认即可。
7、num_workers,从注释可以看出这个参数必须大于等于0,0的话表示数据导入在主进程中进行,其他大于0的数表示通过多个进程来导入数据,可以加快数据导入速度。
8、pin_memory,注释写得很清楚了: pin_memory (bool, optional): If True, the data loader will copy tensors into CUDA pinned memory before returning them. 也就是一个数据拷贝的问题。
9、timeout,是用来设置数据读取的超时时间的,但超过这个时间还没读取到数据的话就会报错。
10、drop_last这个参数决定是否保留余数作为一个batch.举例:有图片13张,batch_size=4,那么整除得3余1,如果该参数值为False那么总共batch=4,如果为true那么总共的batch=3.