昇思25天学习打卡

数据变换Transforms

数据传入神经网络前一般需要进行一些处理，类似torch框架下的数据处理比如数据增强(翻转等操作)，mindspore也使用transforms进行数据增强等操作。

Common Transforms

mindspore.dataset.transforms模块支持一系列通用Transforms。这里我们以Compose为例，介绍其使用方式。
Compose接收一个数据增强操作序列，然后将其组合成单个数据增强操作。

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),  # 像素缩放
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),  # 标准化
        vision.HWC2CHW()  # 通道变换hwc转换为chw
    ]
)
train_dataset = train_dataset.map(composed, 'image')

Vision Transforms

mindspore.dataset.vision模块提供一系列针对图像数据的Transforms

Rescale(rescale：缩放因子，shift：平移因子)
Normalize(mean：图像每个通道的均值,
std：图像每个通道的标准差,
is_hwc：bool值，输入图像的格式True为(height, width, channel)，False为(channel, height, width))

这里对归一化公式不做解释。

Text Transforms

mindspore.dataset.text模块提供一系列针对文本数据的Transforms。与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作。这里简单介绍其使用方法。

# 新建文本数据
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')

# 分词（就是处理数据不可能一下全部转化为词向量，需要对句子进行分析，有的是按照字分词，有的是按照词分词，具体细节感兴趣这可以了解一下自然语言处理方面的数据处理）在这里使用最基础的PythonTokenizer
def my_tokenizer(content):
    return content.split()
test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

# 词向量转化（模型没法理解你说的话，肯定要把句子转化为数据的形式，这个就是词向量的转化，一般都会选择一些大厂提供好的词表）
vocab = text.Vocab.from_dataset(test_dataset)
test_dataset = test_dataset.map(text.Lookup(vocab))

老规矩打卡不能忘：