《昇思25天学习打卡笔记》---第四天|初学入门---数据变换

# 数据变换

数据变换的目的是因为原始数据较为杂乱，如果想要将原始数据输入到神经网络或RNN等网络中进行运算，那么势必要对原始数据做一定的数据。

最主要的目的是为了统一数据的格式

mindspore中使用Transforms进行数据的预处理，Transforms允许通过map方法传入，实现对指定数据列的处理。

Transforms对图像，文本，声音等都支持，都是进行离散化之后进行预测的。

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

我们这里对其进行引进，以手写数据集作为示例进行演示。

数据集的下载过程就不进行展示了。

引入数据集之后，要对原始数据进行转换。

第一步，拆分数据集的标签和原始数据。

image, label = next(train_dataset.create_tuple_iterator())

第二步，对其进行变换，主要是进行归一化和根据均值和方差对其进行标准化，再对其进行整理。

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)

以上是对于图像的处理方法。

Transforms对于文本也有其独特的处理方法。

def my_tokenizer(content):
    return content.split()

test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

以上是对于一个句子进行分词的操作。