PyTorch系列 (二): pytorch数据读取自制数据集并

PyTorch系列 (二): pytorch数据读取

PyTorch 1: How to use data in pytorch

Posted by WangW on February 1, 2019

参考：

1. PyTorch documentation
2. PyTorch 码源

本文首先介绍了有关预处理包的源码，接着介绍了在数据处理中的具体应用；

1 PyTorch数据预处理以及源码分析 (torch.utils.data)

torch.utils.data脚本码源

1.1 Dataset

Dataset

1	class torch.utils.data.Dataset

表示Dataset的抽象类。所有其他数据集都应该进行子类化。 所有子类应该override__len__和__getitem__，前者提供了数据集的大小，后者支持整数索引，范围从0到len(self)。

1 2 3 4 5 6 7 8 9 10 11 12

class Dataset(object): # 强制所有的子类override getitem和len两个函数，否则就抛出错误； # 输入数据索引，输出为索引指向的数据以及标签； def __getitem__(self, index): raise NotImplementedError # 输出数据的长度 def __len__(self): raise NotImplementedError def __add__(self, other): return ConcatDataset([self, other])

TensorDataset

1	class torch.utils.data.TensorDataset(*tensors)

Dataset的子类。包装tensors数据集；输入输出都是元组； 通过沿着第一个维度索引一个张量来回复每个样本。 个人感觉比较适用于数字类型的数据集，比如线性回归等。

1 2 3 4 5 6 7 8 9 10

class TensorDataset(Dataset): def __init__(self, *tensor): assert all(tensors[0].size(0) == tensor.size(0) for tensor in tensors) self.tensors = tensors def __getitem__(self, index): return tuple(tensor[index] for tensor in tensors def __len__(self): return self.tensors[0].size(0)

ConcatDateset

1	class torch.utils.data.ConcatDateset(datasets)

连接多个数据集。 目的：组合不同的数据集，可能是大规模数据集，因为连续操作是随意连接的。 datasets的参数：要连接的数据集列表 datasets的样式：iterable

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

class ConcatDataset(Dataset): @sta