PyTorch系列 (二): pytorch数据读取
PyTorch 1: How to use data in pytorch
Posted by WangW on February 1, 2019
参考:
PyTorch documentation
PyTorch 码源
本文首先介绍了有关预处理包的源码,接着介绍了在数据处理中的具体应用;
1 PyTorch数据预处理以及源码分析 (torch.utils.data)
torch.utils.data脚本码源
1.1 Dataset
Dataset
1
class torch.utils.data.Dataset
表示Dataset的抽象类。所有其他数据集都应该进行子类化。 所有子类应该override__len__
和__getitem__
,前者提供了数据集的大小,后者支持整数索引,范围从0到len(self)。
1
2
3
4
5
6
7
8
9
10
11
12
class Dataset(object):
# 强制所有的子类override getitem和len两个函数,否则就抛出错误;
# 输入数据索引,输出为索引指向的数据以及标签;
def __getitem__(self, index):
raise NotImplementedError
# 输出数据的长度
def __len__(self):
raise NotImplementedError
def __add__(self, other):
return ConcatDataset([self, other])
TensorDataset
1
class torch.utils.data.TensorDataset(*tensors)
Dataset的子类。包装tensors数据集;输入输出都是元组; 通过沿着第一个维度索引一个张量来回复每个样本。 个人感觉比较适用于数字类型的数据集,比如线性回归等。
1
2
3
4
5
6
7
8
9
10
class TensorDataset(Dataset):
def __init__(self, *tensor):
assert all(tensors[0].size(0) == tensor.size(0) for tensor in tensors)
self.tensors = tensors
def __getitem__(self, index):
return tuple(tensor[index] for tensor in tensors
def __len__(self):
return self.tensors[0].size(0)
ConcatDateset
1
class torch.utils.data.ConcatDateset(datasets)
连接多个数据集。 目的:组合不同的数据集,可能是大规模数据集,因为连续操作是随意连接的。 datasets的参数:要连接的数据集列表 datasets的样式:iterable
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
class ConcatDataset(Dataset):
@sta