Dataset和Dataloader

## Dataset和Dataloader

### Dataset

Dataset是一个抽象类，实际使用中需要继承Dataset，并对其__len__()方法和__getitem__(idx)进行重构。前者为返回数据集长度，后者为查询idx所对应的img和其label。

### 数据增强对数据集的影响：

数据增强操作可以在Dataset中的getitem方法中实现。

class LeavesDataset(Dataset):
    def __init__(self, csv, transform=None):
        self.csv = csv
        self.transform = transform

    def __len__(self):
        return len(self.csv['image'])

    def __getitem__(self, idx):
        img = cv2.imread(self.csv['image'][idx])
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        label = labelmap[self.csv['label'][idx]]
        if self.transform:
            img = self.transform(image=img)['image']    # transform返回字典
        return img, torch.tensor(label).type(torch.LongTensor)    # img, label

假设数据集一共有100张图片，pytorch并非对数据集中的每张图片进行aug操作，将数据集扩增到200张，然后用这固定的200张图来训练网络，这是错误的理解。

正确的理解应该是dataloader在每次生成epoch时才对数据集进行以上数据增强操作。由于数据增强有些操作是具有随机性的（采用一定概率对数据进行处理），导致每次epoch产生的数据都不相同，例如同一张图片在有的epoch翻转了，在有的epoch没有翻转，或者同一张图片在各个epoch裁剪的位置不一样，所以每次用来训练的数据不相同，到达了数据增强的目的。
————————————————
原文链接：https://blog.csdn.net/weixin_38314865/article/details/104318112

### Dataloader

Dataloader构建了一个迭代的数据装载器，训练时每次for循环，每次iteration都会从Dataloader中获取一个batch_size大小的数据进行操作。

DataLoader的参数很多，但我们常用的主要有5个：

• dataset: Dataset类， 决定数据从哪读取以及如何读取
• bathsize: 批大小
• num_works: 是否多进程读取机制
• shuffle: 每个epoch是否乱序
• drop_last: 当样本数不能被batchsize整除时， 是否舍弃最后一批数据

要理解这个drop_last， 首先，得先理解Epoch， Iteration和Batchsize的概念：

• Epoch： 所有训练样本都已输入到模型中，称为一个Epoch
• Iteration： 一批样本输入到模型中，称为一个Iteration
• Batchsize： 批大小， 决定一个Epoch有多少个Iteration

举个例子就Ok了， 假设样本总数80， Batchsize是8， 那么1Epoch=10 Iteration。 假设样本总数是87， Batchsize是8， 如果drop_last=True, 那么1Epoch=10Iteration, 如果等于False， 那么1Epoch=11Iteration, 最后1个Iteration有7个样本。
————————————————
原文链接：https://blog.csdn.net/wuzhongqiang/article/details/105499476