《昇思25天学习打卡营第03天|数据集》

心得体会

本节主要介绍了Dataset的基本使用方法，即使用mindspore.dataset进行加载的方法。

数据集加载后，一般以迭代方式获取数据，然后送入神经网络中进行训练。我们可以用create_tuple_iterator或create_dict_iterator接口创建数据迭代器，迭代访问数据。

在训练时可设置shuffle以消除数据排列造成的分布不均问题，此外通过map与设置batchsize参数也是训练的重要步骤。

使用数据集时，有以下三种：

可随机访问数据集

可随机访问数据集是实现了__getitem__和__len__方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。

可迭代数据集

可迭代的数据集是实现了__iter__和__next__方法的数据集，表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。

生成器

生成器也属于可迭代的数据集类型，其直接依赖Python的生成器类型generator返回数据，直至生成器抛出StopIteration异常。