《昇思25天学习打卡营第4天|数据集Dataset》

基本介绍&快速入门&张量Tensor&数据集Dataset&数据变换Transforms&网络构建&函数式自动微分&模型训练&保存与加载&使用静态图加速

---

数据集 Dataset

数据在深度学习中非常重要，MindSpore提供基于Pipeline的数据引擎，通过Dataset和Transforms实现高效的数据预处理。

数据处理Pipeline

如上图所示，MindSpore Dataset模块使用户简便定义数据预处理Pipeline，具体步骤：

• 加载数据集（Dataset）：

  • Dataset 类可以加载已支持的数据集
  • 通过 UDF Loader + GeneratorDataset 实现Python层自定义数据集的加载
  • 同时加载时可以使用Sampler、数据分片、数据shuffle等功能；

• 数据集操作（filter/ skip）：

  • .shuffle：通过创建 buffer_size 大小的缓存来混洗该数据集。
  • .filter：通过自定义判断条件对数据集对象中的数据进行过滤。
  • .skip：跳过此数据集对象的前 count 条数据。
  • .split：将数据集拆分为多个不重叠的子数据集。
  • .take：截取数据集的指定的数据。

• 数据集样本增强操作（map）：

  • vision类
  • nlp类
  • audio类

• 批（batch）：

  • batch 操作要求每列中的数据具有相同的shape。
  • 参数：
    • batch_size (Union[int, Callable])
      • 指定每个批处理数据包含的数据条目。
      • 如果 batch_size 为整型，则直接表示每个批处理数据大小。
      • 如果为可调用对象，则可以通过自定义行为动态指定每个批处理数据大小，要求该可调用对象接收一个参数BatchInfo，返回一个整形代表批处理大小。
        

• 迭代器（create_dict_iterator）：

  • 基于数据集对象创建迭代器。
  • 参数：
    • num_epochs (int, 可选)：
      • 迭代器可以迭代的最大次数。
      • 默认值： -1
      • 迭代器可以迭代无限次。
    • output_numpy (bool, 可选)
      • 输出的数据是否转为NumPy类型。
      • 如果为 False ，迭代器输出的每列数据类型为 mindspore.Tensor ，否则为NumPy。
      • 默认值： False 。

数据集加载

以Mnist数据集为例：
由于mindspore.dataset提供的接口仅支持解压后的数据文件，因此需要先用download库下载数据集。

from download import download

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)
train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)
print(type(train_dataset))

输出：

Downloading data from https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/datasets/MNIST_Data.zip (10.3 MB)

file_sizes: 100%|███████████████████████████| 10.8M/10.8M [00:00<00:00, 129MB/s]
Extracting zip file...
Successfully downloaded / unzipped to ./
<class 'mindspore.dataset.engine.datasets_vision.MnistDataset'>

数据集迭代

数据集加载后，一般以迭代方式获取数据，然后送入神经网络中进行训练，可以用create_tuple_iterator或create_dict_iterator接口创建数据迭代器，迭代访问数据。
访问的数据类型默认为Tensor；若设置output_numpy=True，访问的数据类型为Numpy。
下面定义一个可视化函数，迭代9张图片进行展示。

from mindspore.dataset import vision
import matplotlib.pyplot as plt
def visualize(dataset):
    figure = plt.figure(figsize=(4, 4))
    
    # 输出一个图片矩阵，也可以输出其他形状
    cols, rows = 3, 3

    plt.subplots_adjust(wspace=0.5, hspace=0.5)

    for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
        figure.add_subplot(rows, cols, idx + 1)
        plt.title(int(label))
        plt.axis("off")
        plt.imshow(image.asnumpy().squeeze(), cmap="gray")
        if idx == cols * rows - 1:
            break
    plt.show()
visualize(train_dataset)

输出：

数据集常用操作

Pipeline的常用操作采用dataset = dataset.operation()的异步执行方式，执行操作返回新的Dataset，此时不执行具体操作，而是在Pipeline中加入节点，最终进行迭代时，并行执行整个Pipeline。

下面分别介绍几种常见的数据集操作。

shuffle

shuffle可以消除数据排列分布不均的问题。

mindspore.dataset提供的数据集在加载时可配置shuffle=True，或加载之后再进行操作：

train_dataset = train_dataset.shuffle(buffer_size=64)
visualize(train_dataset)

输出：

map

map操作是数据预处理的关键操作，可以针对数据集指定列（column）添加数据变换（Transforms），将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。

Dataset支持的不同变换类型详见数据变换Transforms。

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)

输出：

(28, 28, 1) UInt8

这里我们对Mnist数据集做归一化处理，数据类型由uint8转为了float32。

train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)

输出：

(28, 28, 1) Float32

batch

将数据集打包为固定大小的batch是在有限硬件资源下使用梯度下降进行模型优化的折中方法，可以保证梯度下降的随机性和优化计算量。

一般会设置一个固定的batch size，将连续的数据分为若干批（batch）。

train_dataset = train_dataset.batch(batch_size=32)
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)

输出：

(32, 28, 28, 1) Float32

batch后的数据增加一维，大小为batch_size。

自定义数据集

mindspore.dataset模块提供了一些常用的公开数据集和标准格式数据集的加载API。

对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过GeneratorDataset接口实现自定义方式的数据集加载。

GeneratorDataset支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集，下面分别对其进行介绍。

可随机访问数据集

可随机访问数据集是实现了__getitem__和__len__方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。

例如，当使用dataset[idx]访问这样的数据集时，可以读取dataset内容中第idx个样本或标签。

import numpy as np
from mindspore.dataset import GeneratorDataset
# Random-accessible object as input source
class RandomAccessDataset:
    def __init__(self):
        self._data = np.ones((5, 2))
        self._label = np.zeros((5, 1))

    def __getitem__(self, index):
        return self._data[index], self._label[index]

    def __len__(self):
        return len(self._data)
        
loader = RandomAccessDataset()
dataset = GeneratorDataset(source=loader, column_names=["data", "label"])

for data in dataset:
    print(data)

输出：

[Tensor(shape=[2], dtype=Float64, value= [ 1.00000000e+00,  1.00000000e+00]), Tensor(shape=[1], dtype=Float64, value= [ 0.00000000e+00])]
[Tensor(shape=[2], dtype=Float64, value= [ 1.00000000e+00,  1.00000000e+00]), Tensor(shape=[1], dtype=Float64, value= [ 0.00000000e+00])]
[Tensor(shape=[2], dtype=Float64, value= [ 1.00000000e+00,  1.00000000e+00]), Tensor(shape=[1], dtype=Float64, value= [ 0.00000000e+00])]
[Tensor(shape=[2], dtype=Float64, value= [ 1.00000000e+00,  1.00000000e+00]), Tensor(shape=[1], dtype=Float64, value= [ 0.00000000e+00])]
[Tensor(shape=[2], dtype=Float64, value= [ 1.00000000e+00,  1.00000000e+00]), Tensor(shape=[1], dtype=Float64, value= [ 0.00000000e+00])]

可迭代数据集

可迭代的数据集是实现了__iter__和__next__方法的数据集，表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。

例如，当使用iter(dataset)的形式访问数据集时，可以读取从数据库、远程服务器返回的数据流。

下面构造一个简单迭代器，并将其加载至GeneratorDataset。

# Iterator as input source
class IterableDataset():
    def __init__(self, start, end):
        '''init the class object to hold the data'''
        self.start = start
        self.end = end
    def __next__(self):
        '''iter one data and return'''
        return next(self.data)
    def __iter__(self):
        '''reset the iter'''
        self.data = iter(range(self.start, self.end))
        return self
loader = IterableDataset(1, 5)
dataset = GeneratorDataset(source=loader, column_names=["data"])

for d in dataset:
    print(d)

输出：

[Tensor(shape=[], dtype=Int64, value= 1)]
[Tensor(shape=[], dtype=Int64, value= 2)]
[Tensor(shape=[], dtype=Int64, value= 3)]
[Tensor(shape=[], dtype=Int64, value= 4)]

生成器

生成器也属于可迭代的数据集类型，其直接依赖Python的生成器类型generator返回数据，直至生成器抛出StopIteration异常。

下面构造一个生成器，并将其加载至GeneratorDataset。

# Generator
def my_generator(start, end):
    for i in range(start, end):
        yield i
        
# since a generator instance can be only iterated once, we need to wrap it by lambda to generate multiple instances
dataset = GeneratorDataset(source=lambda: my_generator(3, 6), column_names=["data"])

for d in dataset:
    print(d)

输出：

[Tensor(shape=[], dtype=Int64, value= 3)]
[Tensor(shape=[], dtype=Int64, value= 4)]
[Tensor(shape=[], dtype=Int64, value= 5)]