昇思25天学习打卡

数据集 Dataset

数据是深度学习的基础，高质量的数据输入将在整个深度神经网络中起到积极作用。MindSpore提供基于Pipeline的数据引擎，通过数据集（Dataset）和数据变换（Transforms）实现高效的数据预处理。

数据加载和迭代

# Download data from open datasets
from download import download

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)

通过指定url的方式对数据进行下载

train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)
test_dataset = MnistDataset('MNIST_Data/test')

加载训练集和测试集

数据迭代：

def visualize(dataset):
    figure = plt.figure(figsize=(4, 4))  # 使用plt.figure创建一个新图像，大小为 4x4 英寸。
    cols, rows = 3, 3  # 定义网格的列数和行数，每个值为 3，即网格是 3x3 的布局。

    plt.subplots_adjust(wspace=0.5, hspace=0.5)  # wspace设置子图之间的水平间距，hspace设置子图之间的垂直间距。
	# 使用 enumerate 函数迭代数据集中的图像和标签对。dataset.create_tuple_iterator() 返回一个可迭代对象，每次迭代返回一个图像和一个标签。
    for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
        figure.add_subplot(rows, cols, idx + 1)  # 使用 add_subplot 方法向图像画布中添加一个子图。子图的位置由 rows、cols 和 idx + 1 决定。
        plt.title(int(label))  # 使用 plt.title 设置子图的标题为标签值。
        plt.axis("off")  # 使用 plt.axis("off") 关闭子图的坐标轴显示。
        plt.imshow(image.asnumpy().squeeze(), cmap="gray")  # 使用 plt.imshow 显示图像。image.asnumpy().squeeze() 将图像张量转换为 NumPy 数组并去除多余的维度，cmap="gray" 指定使用灰度颜色映射。
        if idx == cols * rows - 1: # 如果已经显示了 9 张图像（3x3 的网格），则终止循环。
            break
    plt.show()

数据集常用操作

1. shuffle
   数据集随机shuffle可以消除数据排列造成的分布不均问题
   mindspore中通过dataset.shuffle的方式对数据进行处理，或者在加载数据集时指定shuffle=True

train_dataset = train_dataset.shuffle(buffer_size=64)

2. map
   map操作是数据预处理的关键操作，可以针对数据集指定列（column）添加数据变换（Transforms），将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)

3. batch
   将数据集打包为固定大小的batch是在有限硬件资源下使用梯度下降进行模型优化的折中方法，可以保证梯度下降的随机性和优化计算量。（模型训练都要打包为batch数据进行处理）

train_dataset = train_dataset.batch(batch_size=32)

经典打卡环节：