Dataset与Dataloader

一般模型训练框架：

Dataset中，我们将对image和target进行一系列的预处理，对于图像，预处理后可以直接丢到模型里进行训练，标签需要满足和图像具有一致性，如在目标检测任务中，对图像做resize，就要保证target里的bbox也做了相应调整，和预处理好的图像坐标保持一致。

Dataset：

class Mydataset(Dataset):
    def __init__(self):
        self.data = torch.arrange(0,20)

    def __getitem__(self,index):
        x = self.data[index]
        y = x * 2
        return y
    
    def __len__(self):
        return len(self.data)

#定义DataLoader
dataset = MyDataset()
print(len(dataset))    #20 
print(dataset[3])   #tensor(6)

 实例化Mydataset类，使用len()函数会自动调用__len__(self)函数，获取长度。datase[3]，会调用__getitem__()方法，索引3给到index。

DataLoader:

dataloader = torch.utils.data.DataLoader(dataset, shuffle=True, batch_size=4)
print(len(dataloader))  #5

for x in dataloader:
    print(x)

将dataset传入，shuffle表示输出时随机。dataloader长度为dataset长度/batch_size。dataloader根据batch_size迭代出索引，然后拿着索引去调用__getitem__()，获得预处理后的值。

 dataloader参数：