昇思25天学习打卡营第3天|数据集与数据变换

数据集（Dataset）

数据是深度学习的基础，深度神经网络的效果对数据的高质量也有要求。
MindSpore提供基于Pipeline的数据引擎，核心是将训练样本（数据集）高效、灵活的转换至Tensor，并将该Tensor提供给训练网络用于训练。

加载与迭代访问在打卡第一天也代码演示过了，接下来讲讲数据集的一些操作

操作

shuffle

数据集随机shuffle可以消除数据排列造成的分布不均问题。

train_dataset = train_dataset.shuffle(buffer_size=64)

map

map操作可以针对数据集指定列（column）添加数据变换（Transforms），将数据变换应用于该列数据的每个元素，并返回包含变换后元素的新数据集。

image, label = next(train_dataset.create_tuple_iterator())
train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')
print(image.shape, image.dtype)

输出结果：(28, 28, 1) Float32
这里对数据集做了数据缩放处理，将图像统一除以255，数据类型由uint8转为了float32

batch

将数据集打包为固定大小的batch是在有限硬件资源下使用梯度下降进行模型优化的折中方法，可以保证梯度下降的随机性和优化计算量。
一般会设置一个固定的batch size，将连续的数据分为若干批（batch）。batch后的数据增加一维，大小为batch_size。
例如这里设置size = 32，输出image.shape结果就是(32, 28, 28, 1)

自定义数据集就不讲了，正常自己做数据集都会打好标签参数再统一处理，符合调用规则。通常情况下直接加载的原始数据并不能直接送入神经网络进行训练，此时需要对其进行数据预处理，MindSpore也是提供不同种类的数据变换。

数据变换（Transforms）

mindspore.dataset提供了面向图像、文本、音频等不同数据类型的Transforms

Vision Transforms

支持多种变换，这里举个compose的例子

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)

Rescale基于给定的缩放和平移因子调整图像的像素大小
Normalize打卡第2天也讲了，用于对输入图像的归一化
HWC2CHW是将输入图像的shape从 <H, W, C> 转换为 <C, H, W>

Text Transforms

与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作
举个例子，定义三段文本作为待处理的数据，并使用GeneratorDataset进行加载

texts = ['Welcome to Mindspore']
test_dataset = GeneratorDataset(texts, 'text')

def my_tokenizer(content):
    return content.split()

test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

输出结果：[Tensor(shape=[3], dtype=String, value= [‘Welcome’, ‘to’, ‘Mindspore’])]

Lambda Transforms

Lambda函数是由一个单独表达式组成的匿名函数，表达式会在调用时被求值。可以加载任意定义的Lambda函数，这里简单设计一个Lambda函数，对输入数据乘2

test_dataset = GeneratorDataset([1, 2, 3], 'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x * 2)
print(list(test_dataset.create_tuple_iterator()))

输出结果就是246：[[Tensor(shape=[], dtype=Int64, value= 2)], [Tensor(shape=[], dtype=Int64, value= 4)], [Tensor(shape=[], dtype=Int64, value= 6)]]

复杂一点的例如

def func(x):
    return x * x + 2

test_dataset = test_dataset.map(lambda x: func(x))
print(list(test_dataset.create_tuple_iterator()))

输出结果：[[Tensor(shape=[], dtype=Int64, value= 6)], [Tensor(shape=[], dtype=Int64, value= 18)], [Tensor(shape=[], dtype=Int64, value= 38)]]

总结

简单了解数据上的相关操作，更多需要熟练调用函数的功能作用