昇思MindSpore学习入门-数据采样

为满足训练需求，解决诸如数据集过大或样本类别分布不均等问题，MindSpore提供了多种不同用途的采样器（Sampler），帮助用户对数据集进行不同形式的采样。用户只需在加载数据集时传入采样器对象，即可实现数据的采样。

MindSpore目前提供了如RandomSampler、WeightedRandomSampler、SubsetRandomSampler等多种采样器。此外，用户也可以根据需要实现自定义的采样器类。

采样器

下面主要以CIFAR-10数据集为例，介绍几种常用MindSpore采样器的使用方法。

RandomSampler

从索引序列中随机采样指定数目的数据。

下面的样例使用随机采样器，分别从数据集中有放回和无放回地随机采样5个数据，并打印展示。为了便于观察有放回与无放回的效果，这里自定义了一个数据量较小的数据集。

从上面的打印结果可以看出，使用有放回采样器时，同一条数据可能会被多次获取；使用无放回采样器时，同一条数据只能被获取一次。

WeightedRandomSampler

指定长度为N的采样概率列表，按照概率在前N个样本中随机采样指定数目的数据。

下面的样例使用带权随机采样器从CIFAR-10数据集的前10个样本中按概率获取6个样本，并展示已读取数据的形状和标签。

从上面的打印结果可以看出，本次在前面一共10个样本中随机采样了6条数据，只有前面两个采样概率不为0的样本才有机会被采样。

SubsetRandomSampler

从指定样本索引子序列中随机采样指定数目的样本数据。

下面的样例使用子序列随机采样器从CIFAR-10数据集的指定子序列中抽样3个样本，并展示已读取数据的形状和标签。

从上面的打印结果可以看到，采样器从索引序列中随机采样了6个样本。

PKSampler

在指定的数据集类别P中，每种类别各采样K条数据。

下面的样例使用PK采样器从CIFAR-10数据集中每种类别抽样2个样本，最多10个样本，并展示已读取数据的形状和标签。

从上面的打印结果可以看出，采样器对数据集中的每种标签都采样了2个样本，一共10个样本。

DistributedSampler

在分布式训练中，对数据集分片进行采样。

下面的样例使用分布式采样器将构建的数据集分为4片，在分片抽取一个样本，共采样3个样本，并展示已读取的数据。

从上面的打印结果可以看出，数据集被分成了4片，每片有3个样本，本次获取的是id为0的片中的样本。

自定义采样器

用户可以自定义采样器，并把它应用到数据集上。

__iter__ 模式

用户可以继承Sampler基类，通过实现__iter__方法来自定义采样器的采样方式。

下面的样例定义了一个从下标0至下标9间隔为2采样的采样器，将其作用于自定义数据集，并展示已读取数据。

从上面的打印可以看出，自定义的采样器读取了下标为0、2、4、6、8的样本数据，这与自定义采样器的采样目的一致。

__getitem__ 模式

用户可以定义一个采样器类，该类包含 __init__ 、 __getitem__ 和 __len__ 方法。

下面的样例定义了一个下标为 [3, 4, 3, 2, 0, 11, 5, 5, 5, 9, 1, 11, 11, 11, 11, 8] 的采样器类，将其作用于自定义数据集，并展示已读取数据。

从上面的打印可以看出，自定义的采样器读取了下标为 [3, 4, 3, 2, 0, 11, 5, 5, 5, 9, 1, 11, 11, 11, 11, 8] 的样本数据，这与自定义采样器的采样目的一致。