mindspore

mindspore学习——2

Dataset

1.加载

from mindspore.dataset import vision
from mindspore.dataset import MnistDataset, GeneratorDatase
//仅支持解压后的数据文件
from download import download 
//下载数据集并解压

2.迭代

加载完数据集后，我们需要迭代获取数据以进行训练。

//create_tuple_iterator
//create_dict_iterator
//都为接口，创建数据迭代器
for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):

3.常规操作

1.shuffle

数据集随机shuffle可以消除数据排列造成的分布不均问题

2.map

map可以针对数据集指定列（column）添加数据变换（Transforms）

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
//(28, 28, 1) UInt8

train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
//(28, 28, 1) Float32

3.batch

将数据集打包为固定大小的batch是使用梯度下降进行模型优化的折中方法

train_dataset = train_dataset.batch(batch_size=32)

image, label = next(train_dataset.create_tuple_iterator())
print(image.shape, image.dtype)
//(32, 28, 28, 1) Float32

4.自定义数据集

对于一些mindspore 暂不支持的数据集，需要用GeneratorDataset接口实现自定义方式的数据集加载

data = Iterable()
dataset = GeneratorDataset(source=data, column_names=["data", "label"])

Transforms

主要就是对直接加载的原始数据进行预处理。

1.Commen Transforms

compose

1.1

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

1.2

# Download data from open datasets

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
 //下载路径
path = download(url, "./", kind="zip", replace=True)
 //下载到根目录，格式，是否取代同名文件
train_dataset = MnistDataset('MNIST_Data/train')
 

1.3

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)


train_dataset = train_dataset.map(composed, 'image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

//
train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')
//
//对比map原本的参数结构，compose提前设定了更多的量，并放入其中

2.Vision Transforms

1.Rescale

Rescale变换用于调整图像像素值的大小，包括两个参数：

• rescale：缩放因子。
• shift：平移因子。

图像的每个像素将根据这两个参数进行调整，输出的像素值为output=input∗rescale+shift_output=input∗rescale+shift

make:
random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)

transform:
rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)

2.Normalize

Normalize变换用于对输入图像的归一化，包括三个参数：

• mean：图像每个通道的均值。
• std：图像每个通道的标准差。
• is_hwc：输入图像格式为(height, width, channel)还是(channel, height, width)。

图像的每个通道将根据mean和std进行调整，计算公式为output=(input−mean_std)output=(input−mean_std)，其中 cc代表通道索引.

1.
normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)

3.HWC2CWH

HWC2CWH变换用于转换图像格式。在不同的硬件设备中可能会对(height, width, channel)或(channel, height, width)两种不同格式有针对性优化。MindSpore设置HWC为默认图像格式，在有CWH格式需求时，可使用该变换进行处理。

这里我们先将前文中normalized_image处理为HWC格式，然后进行转换。可以看到转换前后的shape发生了变化。

hwc_image = np.expand_dims(normalized_image, -1)
hwc2cwh = vision.HWC2CHW()
chw_image = hwc2cwh(hwc_image)

3.Text Transforms

mindspore.dataset.text模块提供一系列针对文本数据的Transforms。与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作。这里简单介绍其使用方法。

首先我们定义三段文本，作为待处理的数据，并使用GeneratorDataset进行加载。

1.BasicTokenizer
test_dataset = test_dataset.map(text.BasicTokenizer())
print(next(test_dataset.create_tuple_iterator()))
//
[Tensor(shape=[5], dtype=String, value= ['我', '喜', '欢', 'China', '!'])]

2.Lookup

vocab = text.Vocab.from_dataset(test_dataset)

print(vocab.vocab())
//
{'迎': 11, '我': 10, '您': 9, '京': 6, 'to': 5, '！': 12, '喜': 8, 'Welcome': 4, 'China': 3, '北': 7, 'Beijing': 2, '!': 1, '欢': 0}

4.Lambda Transforms

//看不懂