昇思25天学习打卡营第04天 | 数据集 Dataset
数据集Dataset对原始数据进行封装、变换,为神经网络提供高质量的输入数据。
mindspore.dataset
内置了的文本、图像、音频等数据集的加载接口,也提供创建自定义数据集的方法。
数据集加载
mindspore.dataset
仅支持解压后的数据文件,对于压缩包文件,需要先解压才能创建数据集:
from download import download
url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
"notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True) # 下载并解压到"./"目录下
train_dataset = MnistDataset("MNIST_Data/train", shuffle=False) # 通过数据集的文件目录直接创建dataset
数据集迭代
数据集可以通过create_tuple_iterator
或create_dict_iterator
接口创建迭代器进行访问。
访问的类型默认为Tensor
,如果设置output_numpy=True
,则访问Numpy
。
def visualize(dataset):
figure = plt.figure(figsize=(4, 4))
cols, rows = 3, 3
plt.subplots_adjust(wspace=0.5, hspace=0.5)
for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):
figure.add_subplot(rows, cols, idx + 1)
plt.title(int(label))
plt.axis("off")
plt.imshow(image.asnumpy().squeeze(), cmap="gray")
if idx == cols * rows - 1:
break
plt.show()
数据集的变换
shuffle
shuffle
可以对数据集进行打乱,消除数据排列不均匀的问题。
mindspore.dataset
可以在加载数据集的时候配置shuffle=True
,或者通过mindspore.dataset.shuffle(buffer_size)
进行打乱。
map
map
是数据预处理的关键,可以针对数据集的指定列添加变换,将指定变换应用于该列数据的每个元素,并返回变换后的新元素。
train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')
batch
将数据集中的数据打包为batch有利于在资源受限的情况下使用梯度下降,可以保证梯度下降的随机性和优化计算量。
train_dataset = train_dataset.batch(batch_size = 32)
通过batch
后数据增加一维,大小为batch_size
。
自定义数据集
通过构造自定义数据加载类和自定义数据集生成函数的方法来生成数据集,并通过GeneratorDataset
接口实现数据集的加载
GeneratorDataset
支持可随机访问数据集对象,可迭代数据集对象和生成器构造数据集。
可随机访问数据集对象
是指实现了__getitem__
和__len__
方法的数据集,可以通过索引/键直接访问对应位置的数据。
class RandomAccessDataset:
def __init__(self):
self._data = np.ones((5, 2))
self._label = np.zeros((5, 1))
def __getitem__(self, index):
return self._data[index], self._label[index]
def __len__(self):
return len(self._data)
loader = RandomAccessDataset()
dataset = GeneratorDataset(source=loader, column_names=["data", "label"])
可迭代数据集
是指实现了__iter__
和__next__
方法的数据集,可以通过迭代的方式获取数据样本,适用于随机访问成本太高或不可行的情况。
class IterableDataset():
def __init__(self, start, end):
'''init the class object to hold the data'''
self.start = start
self.end = end
def __next__(self):
'''iter one data and return'''
return next(self.data)
def __iter__(self):
'''reset the iter'''
self.data = iter(range(self.start, self.end))
return self
loader = IterableDataset(1, 5)
dataset = GeneratorDataset(source=loader, column_names=["data"])
生成器
生成器属于可迭代的数据集类型,依赖于python的generator
返回数据,直到生成器抛出StopIteration
异常。
def my_generator(start, end):
for i in range(start, end):
yield i
dataset = GeneratorDataset(source=lambda: my_generator(3, 6), column_names=["data"])
总结
通过这一节的学习,对MindSpore中Dataset的使用方法有了一定的了解,掌握了通过download
下载/解压数据并创建数据集,通过迭代器方位数据集中的元素,通过shuffle
打乱数据,通过map
变换数据以及将数据打包为固定大小的patch
。此外,还了解了自定义数据集的创建以及自定义数据集需要实现的方法,为之后的训练数据管理和处理打下了基础。