昇思25天学习打卡营第3天|munger85

今天学习dataset

要训练肯定要有数据集，首先要下载数据集。

import numpy as np
from mindspore.dataset import vision
from mindspore.dataset import MnistDataset, GeneratorDataset
import matplotlib.pyplot as plt

下载的代码是
from download import download

url = “https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/”
“notebook/datasets/MNIST_Data.zip”
path = download(url, “./”, kind=“zip”, replace=True)

train_dataset = MnistDataset(“MNIST_Data/train”, shuffle=False)
print(type(train_dataset))

训练的时候，或者说在训练之前你要看一看数据长什么样，所以就需要用下面的方法去看一下数据到底是什么样子，维度是什么样子的？

def visualize(dataset):
figure = plt.figure(figsize=(4, 4))
cols, rows = 3, 3

plt.subplots_adjust(wspace=0.5, hspace=0.5)

for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
    figure.add_subplot(rows, cols, idx + 1)
    plt.title(int(label))
    plt.axis("off")
    print(image.shape)
    plt.imshow(image.asnumpy().squeeze(), cmap="gray")
    if idx == cols * rows - 1:
        break
plt.show()

visualize(train_dataset)

为了原数据的不均匀现象，所以需要把它进行洗牌。就像赌博的时候洗牌一样。
train_dataset = train_dataset.shuffle(buffer_size=64)
然后我们把数据进行一个缩放。并且还变成了小数。
train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns=‘image’)
把数据打包成1块1块的，这样子有利于效率这是训练的时候常用的做法。
train_dataset = train_dataset.batch(batch_size=32)

然后就是一些关于数据集的取数据的操作。这东西是基本的操作。
mindSpore的GeneratorDataset用loader的时候，这个loader得这样定义一个类

可迭代的loader又是下面这种写法

如果不想写class，可以用lamba函数