昇思25天学习打卡营第04天 | 数据集 Dataset

昇思25天学习打卡营第04天 | 数据集 Dataset

数据集Dataset对原始数据进行封装、变换，为神经网络提供高质量的输入数据。
mindspore.dataset内置了的文本、图像、音频等数据集的加载接口，也提供创建自定义数据集的方法。

数据集加载

mindspore.dataset仅支持解压后的数据文件，对于压缩包文件，需要先解压才能创建数据集：

from download import download

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)					 # 下载并解压到"./"目录下

train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)			# 通过数据集的文件目录直接创建dataset

数据集迭代

数据集可以通过create_tuple_iterator或create_dict_iterator接口创建迭代器进行访问。
访问的类型默认为Tensor，如果设置output_numpy=True，则访问Numpy。

def visualize(dataset):
    figure = plt.figure(figsize=(4, 4))
    cols, rows = 3, 3

    plt.subplots_adjust(wspace=0.5, hspace=0.5)

    for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
        figure.add_subplot(rows, cols, idx + 1)
        plt.title(int(label))
        plt.axis("off")
        plt.imshow(image.asnumpy().squeeze(), cmap="gray")
        if idx == cols * rows - 1:
            break
    plt.show()

数据集的变换

shuffle

shuffle可以对数据集进行打乱，消除数据排列不均匀的问题。

mindspore.dataset可以在加载数据集的时候配置shuffle=True，或者通过mindspore.dataset.shuffle(buffer_size)进行打乱。

map

map是数据预处理的关键，可以针对数据集的指定列添加变换，将指定变换应用于该列数据的每个元素，并返回变换后的新元素。

train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')

batch

将数据集中的数据打包为batch有利于在资源受限的情况下使用梯度下降，可以保证梯度下降的随机性和优化计算量。

train_dataset = train_dataset.batch(batch_size = 32)

通过batch后数据增加一维，大小为batch_size。

自定义数据集

通过构造自定义数据加载类和自定义数据集生成函数的方法来生成数据集，并通过GeneratorDataset接口实现数据集的加载
GeneratorDataset支持可随机访问数据集对象，可迭代数据集对象和生成器构造数据集。

可随机访问数据集对象

是指实现了__getitem__和__len__方法的数据集，可以通过索引/键直接访问对应位置的数据。

class RandomAccessDataset:
    def __init__(self):
        self._data = np.ones((5, 2))
        self._label = np.zeros((5, 1))

    def __getitem__(self, index):
        return self._data[index], self._label[index]

    def __len__(self):
        return len(self._data)

loader = RandomAccessDataset()
dataset = GeneratorDataset(source=loader, column_names=["data", "label"])

可迭代数据集

是指实现了__iter__和__next__方法的数据集，可以通过迭代的方式获取数据样本，适用于随机访问成本太高或不可行的情况。

class IterableDataset():
    def __init__(self, start, end):
        '''init the class object to hold the data'''
        self.start = start
        self.end = end
    def __next__(self):
        '''iter one data and return'''
        return next(self.data)
    def __iter__(self):
        '''reset the iter'''
        self.data = iter(range(self.start, self.end))
        return self
		
loader = IterableDataset(1, 5)
dataset = GeneratorDataset(source=loader, column_names=["data"])

生成器

生成器属于可迭代的数据集类型，依赖于python的generator返回数据，直到生成器抛出StopIteration异常。

def my_generator(start, end):
    for i in range(start, end):
        yield i

dataset = GeneratorDataset(source=lambda: my_generator(3, 6), column_names=["data"])

总结

通过这一节的学习，对MindSpore中Dataset的使用方法有了一定的了解，掌握了通过download下载/解压数据并创建数据集，通过迭代器方位数据集中的元素，通过shuffle打乱数据，通过map变换数据以及将数据打包为固定大小的patch。此外，还了解了自定义数据集的创建以及自定义数据集需要实现的方法，为之后的训练数据管理和处理打下了基础。

打卡