昇思25天打卡-Day3：数据集Dataset

数据集Dataset

训练后标注名字&.时间（小激动）

数提是深度学习的基础，高质量的数理幼入将在整个深度神经网络中起到积股作月。Mindsyore提供基于 pe ine的数泪剧引擎，通过数据集(Ddbset）和数据变换(Ti nsorms)实现高效的数熠预处理。其中Detset是Pipeline的起始，用于加载原始数据。mindspore.dataset 提供了内置的文本、图像、音频等数据集加载接口，并提供了自定义数据集加载接口。
此外MindSpore的领域开发库也提供了大量的预加教数据集，可以使用API一键下载使用。本教程将分别对不同的数据集加载方式、数据集常见操作和自定义数据集方法进行详细阐述

数据集加载

我们使用Mnist数据集作为样例，介绍使用mindspore.dataset进行加载的方法。

mindspore.dataset提供的接口仅支持解压后的数据文件，因此我们使用download库下载数据集并解压。

压缩文件删除后，直接加载，可以看到其数据类型为MnistDataset.

数据集迭代

数据集加载后，一般以迭代方式获取数据，然后送入神经网络中进行训练。我们可以用create_uple iterator或create dictiteator接口创建数据迭代器，迭代访问数据
访问的数据类型默认为Tensor;若设置output_numpy=True，访问的数据类型为Numpy .
下面定义一个可视化函数，迭代9张图片进行展示。

数据集常用操作

Piralin的最.理会使得救据集的常用朵保采用‘(rtot a drtoe.t.oertion )的异参执行方式，执行操作炬回箭的etset 此时不执行俱体握作。而是在Ppelite中加入节点。最终进行法代时·并行执行整个Pizelitne

下面分别介绍几种常见的数据集操作。

shuffle

数据集随机 shuffle可以消除数据排列造成的分布不均问题。

mindspore.dataset提供的数据集在加载时可配置shuffle=True，或使用如下操作:

map

mep操作是数据预处理的关键操作，可以针对数据集指定列(column)添加数据变换（Transforms)，将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。
（Dataset支持的不同变换类型-详见数据变换Transforms。)

这里我们对Mnist数据集做数据缩放处理，将图像统一除以255，数据类型由uint8转为了float32。

对比map前后的数据，可以看到数据类型变化。

batch

将数据集打包为固定大小的 batch是在有限硬件资源下使用梯度下降进行模型优化的折中方法，可以保证梯度下降的随机性和优化计算量。
-般我们会设置一个固定的batch，将连续的数据分为若干批(batch)。batch后的数据增加—维，大小为batch_size.

自定义数据集

mindspore.dataset模块提供了一些常用的公开数据集和标准格式数据集的加载API。
对于MnSsrore暂不支持直被加载的数据集，可以构造自定义数据加载美或自定义数据集生成函数的方式来生成数据集，然后通过GeneratorOataset:接口实现自定义方式的数据集加载。
GeneratorDataset支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集，下面分别对其进行介绍。

可随机访问数据集

可随机访问数据集是实现了__getitem_和_len_方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。
例如，当使用dataset[idx]访问这样的数据集时，可以读取dataset内容中第idx个样本或标签。

可迭代数据集

可迭代数据集
可迭代的数据集是实现了_iter_和_next_方法的数据集，表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。
例如，当使用iter(dataset)的形式访问数据集时，可以读取从数据库、远程服务器返回的数据流。
下面构造一个简单迭代器，并将其加载至GeneratorDataset .

生成器

生成器也属于可迭代的数据集类型，其直接依赖Python的生成器类型generator返回数据，直至生成器抛出stopIteration 异常。下面构造一个生成器，并将其加载至GeneratorDataset 。

训练结束打上姓名和时间。