《昇思25天学习打卡笔记》---第三天|初学入门---数据集

今天要学习的是数据集的导入和数据变换（及基本处理）

mindspore中提供了大量的数据接口，便于我们做一些基本的数据导入工作，有一些经典的数据集。

我在网上找到了一些。

mnist_dataset = ds.MnistDataset(...)  # MNIST手写数字识别数据集
cifar10_dataset = ds.Cifar10Dataset(...)  # CIFAR-10图像分类数据集
cifar100_dataset = ds.Cifar100Dataset(...)  # CIFAR-100图像分类数据集
imagenet_dataset = ds.ImageFolderDataset(...)  # ImageNet数据集，通常用于图像分类任务
voc_dataset = ds.VOCDataset(...)  # PASCAL VOC数据集，用于目标检测任务
celeba_dataset = ds.CelebADataset(...)  # CelebA数据集，常用于人脸属性分析和生成任务
coco_dataset = ds.CocoDataset(...)  # COCO数据集，用于目标检测和实例分割任务

数据及下载好之后，需要对数据及进行导入。

需要用到一行代码

train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)

这一段代码中有两个点，一个是原始数据已经分好了训练集和测试集（如果需要验证集，需要自己进行拆分）

第二个点是shuffle，在MindSpore的MnistDataset构造函数中，shuffle参数控制着数据集是否在每个epoch开始前进行随机排序。如果shuffle设置为True，那么在每个epoch开始时，数据集中的样本会被随机打乱顺序，这样可以确保模型在训练过程中能够看到数据的不同排列，有助于提高模型的泛化能力。当shuffle设置为False时，数据集将按照原始的顺序提供数据。

在完成数据导入之后，就需要对其进行展示。

原始的数据当中包含两部分，一部分是图，一部分是标签。

原始数据输入之后还需要进行归一化操作，由于图像是RGB排列的，值从0到255，所以需要同意除以255，可以使用代码：

train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')

在mindspore中，对于那些随机访问不可行的数据，可以使用迭代的方法来获取数据。

# Iterator as input source
class IterableDataset():
    def __init__(self, start, end):
        '''init the class object to hold the data'''
        self.start = start
        self.end = end
    def __next__(self):
        '''iter one data and return'''
        return next(self.data)
    def __iter__(self):
        '''reset the iter'''
        self.data = iter(range(self.start, self.end))
        return self