如何读取数据集

最新推荐文章于 2023-06-12 12:38:00 发布

与其在风雨中逃避，不如在雷电中舞蹈

最新推荐文章于 2023-06-12 12:38:00 发布

阅读量1.5k

点赞数

分类专栏：学习记录文章标签： python

本文链接：https://blog.csdn.net/weixin_43468161/article/details/106042000

版权

本文介绍了如何使用PaddlePaddle读取官方数据集如mnist，以及如何制作和封装自己的数据集。通过示例详细讲解了数据预处理、批处理创建以及数据集打乱的过程。

摘要由CSDN通过智能技术生成

本文主要对两种数据集读取方式进行谈论，一种是paddle官方的数据集，另一种是如何自己制作所需的数据集。

一、官方数据集读取

mnist数据集（手写数据集）
cifar数据集
Conll05数据集
imdb数据集
imikolov数据集
movielens数据集
sentiment数据集
uci_housing数据集（房价数据集，好像是关于波斯顿房价的）
wmt 14数据集
wmt 16数据集

以常用的手写数据集mnist数据集为例，进行说明。

mnist数据集模块

此模块将训练集和测试集解析为paddle reader creator.MNIST训练数据集的creator.

获取训练集和测试集：

#以下代码是通过paddle的框架获取官方的mnist数据集中的训练集和测试集
import paddle #导入paddle库
import paddle.fluid as fliid
import numpy as np
import matplotlib .pyplot as plt
#paddle.dataset.mnist.train()是mnist训练集的creator，它返回一个reader creator,reader中的每个样本的图像像素范围是[-1,1],标签范围是[0-9]
trainset=paddle.dataset.mnist.train()#训练集
#paddle.dataset.mnist.test()是mnist训练集的creator，它返回一个reader creator,reader中的每个样本的图像像素范围是[-1,1],标签范围是[0-9]
testset=paddle.dataset.mnist.test()#测试集

train_reader=fluid.io.batch(trainset,batch_size=8)#将数据打包，训练集batch_size=8
test_reader=fluid.io.batch(testset,batch_size=16)#将数据打包，测试集batch_size=16

2020-05-11 10:42:33,560-INFO: font search path ['/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf', '/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/afm', '/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/pdfcorefonts']
2020-05-11 10:42:33,939-INFO: generated new fontManager
[==================================================]t/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz
[==================================================]t/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz
[===========