《昇思25天学习打卡营第4天|数据集 Dataset》

打卡

import time
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()),'zozo')

库导入

import numpy as np
from mindspore.dataset import vision
from mindspore.dataset import MnistDataset, GeneratorDataset
import matplotlib.pyplot as plt

一、数据集加载

Mnist数据集作为样例，介绍使用`mindspore.dataset`进行加载的方法。

# Download data from open datasets
from download import download

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)
# 查看数据类型
train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)
print(type(train_dataset))

二、数据集迭代

数据集加载后，一般以迭代方式获取数据，然后送入神经网络中进行训练。

可以用create_tuple_iterator或create_dict_iterator接口创建数据迭代器

def visualize(dataset):
    figure = plt.figure(figsize=(4, 4))
    cols, rows = 3, 3

    plt.subplots_adjust(wspace=0.5, hspace=0.5)

    for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
        figure.add_subplot(rows, cols, idx + 1)
        plt.title(int(label))
        plt.axis("off")
        plt.imshow(image.asnumpy().squeeze(), cmap="gray")
        if idx == cols * rows - 1:
            break
    plt.show()

visualize(train_dataset)

三、数据集常用操作

Pipeline（中文意为管线，意义等同于流水线）的设计理念使得数据集的常用操作采用dataset = dataset.operation()的异步执行方式，执行操作返回新的Dataset，此时不执行具体操作，而是在Pipeline中加入节点，最终进行迭代时，并行执行整个Pipeline。

1.shuffle【消除数据排列造成的分布不均】

train_dataset = train_dataset.shuffle(buffer_size=64)

visualize(train_dataset)

2.map【对数据集指定列（column）添加数据变换（Transforms）】

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
#(28, 28, 1) UInt8

#这里我们对Mnist数据集做数据缩放处理，将图像统一除以255，数据类型由uint8转为了float32。
train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')

#对比map前后的数据，可以看到数据类型变化。
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
#(28, 28, 1) Float32

3.batch【将连续的数据分为若干批】¶

train_dataset = train_dataset.batch(batch_size=32)
#batch后的数据增加一维，大小为batch_size。
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
#(32, 28, 28, 1) Float32

四、自定义数据集

mindspore.dataset模块提供了一些常用的公开数据集和标准格式数据集的加载API。

对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过GeneratorDataset接口实现自定义方式的数据集加载。

1.可随机访问数据集

2.可迭代数据集

3.生成器