关于dataset和dataLoader怎样封装数据

使用pytorch进行模型训练时，我们通常会将数据包装成dataLoader，然后放入模型进行训练。dataLoader实质上就是一个数据加载器，必须要传入一个数据集类dataset。pytorch提供的dataset是一个抽象类，需要自己实现该类。继承dataset需要实现getitem和len两个方法，具体如下:

class MyDataSet(Dataset):
    def __init__(self, imgs, labels):
        self._data = imgs
        self._label = labels
    def __getitem__(self,idx):
        img = self._data[idx]
        label = self._label[idx]
        return img,label
    def __len__(self):
        return len(self._data)

然后将dataset传入dataloader中:

my_dataSet = MyDataSet(imgs, labels)

    dataloader = DataLoader(dataset=my_dataSet, batch_size=batch_size, num_workers=device_num, shuffle=True)

关于dataloader的具体参数，如下（可自己查看官方文档），

dataset(Dataset):
传入的数据集

batch_size(int, optional):
每个batch有多少个样本

shuffle(bool, optional):
在每个epoch开始的时候，对数据进行重新打乱

sampler(Sampler, optional):
自定义从数据集中取样本的策略，如果指定这个参数，那么shuffle必须为False

batch_sampler(Sampler, optional):
与sampler类似，但是一次只返回一个batch的indices（索引），需要注意的是，一旦指定了这个参数，那么batch_size,shuffle,sampler,drop_last就不能再制定了（互斥——Mutually exclusive）

num_workers (int, optional):
这个参数决定了有几个进程来处理data loading。0意味着所有的数据都会被load进主进程。（默认为0）

collate_fn (callable, optional):
将一个list的sample组成一个mini-batch的函数

pin_memory (bool, optional)：
如果设置为True，那么data loader将会在返回它们之前，将tensors拷贝到CUDA中的固定内存（CUDA pinned memory）中.

drop_last (bool, optional):
如果设置为True：这个是对最后的未完成的batch来说的，比如你的batch_size设置为64，而一个epoch只有100个样本，那么训练的时候后面的36个就被扔掉了…
如果为False（默认），那么会继续正常执行，只是最后的batch_size会小一点。

timeout(numeric, optional):
如果是正数，表明等待从worker进程中收集一个batch等待的时间，若超出设定的时间还没有收集到，那就不收集这个内容了。这个numeric应总是大于等于0。默认为0

worker_init_fn (callable, optional):
每个worker初始化函数 If not None, this will be called on each
worker subprocess with the worker id (an int in [0, num_workers - 1]) as input, after seeding and before data loading. (default: None)