MNIST读取数据

最新推荐文章于 2022-08-09 14:25:53 发布
最新推荐文章于 2022-08-09 14:25:53 发布
阅读量390 收藏
点赞数 2

1. MNIST读取数据

%pylab inline
Populating the interactive namespace from numpy and matplotlib

在Yann LeCun教授的网站中（http://yann.lecun.com/exdb/mnist ） 对MNIST数据集做出了详细的介绍。

在TensorFlow中对MNIST数据集进行了封装。

MNIST数据集是NIST数据集的一个子集，它包含了60000张图片作为训练数据，10000张图片作为测试数据。在MNIST数据集中的每一张图片都代表了 0~9中的一个数字。图片大小均为28∗2828∗28,且数字都会出现在图片的正中间。

TensorFlow提供了一个类来处理MNIST数据：自动下载并转化MNIST数据的格式，将数据从原始的数据包中解析成训练和测试神经网络时使用的格式。

1. 读取数据集，第一次TensorFlow会自动下载数据集到下面的路径中。

 

⎛⎝⎜⎜⎜⎜train-images-idx3-ubyte.gz:train-labels-idx1-ubyte.gz:t10k-images-idx3-ubyte.gz:t10k-labels-idx1-ubyte.gz:training set images (9912422 bytes)training set labels (28881 bytes)test set images (1648877 bytes)test set labels (4542 bytes)⎞⎠⎟⎟⎟⎟(train-images-idx3-ubyte.gz:training set images (9912422 bytes)train-labels-idx1-ubyte.gz:training set labels (28881 bytes)t10k-images-idx3-ubyte.gz:test set images (1648877 bytes)t10k-labels-idx1-ubyte.gz:test set labels (4542 bytes))

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("../../datasets/MNIST_data/", one_hot=True)
Successfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
Extracting ../../datasets/MNIST_data/train-images-idx3-ubyte.gz
Successfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
Extracting ../../datasets/MNIST_data/train-labels-idx1-ubyte.gz
Successfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
Extracting ../../datasets/MNIST_data/t10k-images-idx3-ubyte.gz
Successfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
Extracting ../../datasets/MNIST_data/t10k-labels-idx1-ubyte.gz

2. 数据集会自动被分成3个子集，train(训练)、validation(验证)和test(测试)。以下代码会显示数据集的大小。

print("Training data size: ", mnist.train.num_examples)
print("Validating data size: ", mnist.validation.num_examples)
print("Testing data size: ", mnist.test.num_examples)
Training data size:  55000
Validating data size:  5000
Testing data size:  10000

3. 查看training数据集中某个成员的像素矩阵生成的一维数组和其属于的数字标签。

print("Example training data: ", mnist.train.images[0]) 
print("Example training data label: ", mnist.train.labels[0])
Example training data:  [ 0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.01176471  0.46274513  0.99215692  0.45882356  0.01176471
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.46274513  0.98823535  0.98823535  0.98823535
  0.16862746  0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.65882355  0.99215692  0.98823535  0.98823535
  0.98823535  0.65882355  0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.10196079  0.73333335  0.97254908  0.99215692  0.98823535
  0.89019614  0.25882354  0.75294125  0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.08627451  0.80392164  0.98823535  0.98823535  0.99215692
  0.6156863   0.0627451   0.          0.04313726  0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.01176471  0.66666669  0.99215692  0.99215692  0.99215692
  0.41568631  0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.66666669  0.98823535  0.98823535  0.98823535
  0.41568631  0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.45490199  0.99215692  0.98823535  0.91372555
  0.5529412   0.02352941  0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.29803923  0.97254908  0.99215692  0.98823535
  0.5529412   0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.1254902   0.85490203  0.98823535  0.99215692
  0.6156863   0.02352941  0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.01960784  0.74901962  0.99215692  0.99215692
  0.90588242  0.16470589  0.          0.          0.          0.
  0.05882353  0.09411766  0.46274513  0.33725491  0.34117648  0.2392157   0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.47058827  0.98823535
  0.98823535  0.90588242  0.16470589  0.          0.          0.06666667
  0.18431373  0.43137258  0.8588236   0.98823535  0.98823535  0.98823535
  0.99215692  0.92549026  0.17254902  0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.
  0.06666667  0.89411771  0.98823535  0.89019614  0.18823531  0.
  0.17647059  0.39607847  0.81960791  0.98823535  0.99215692  0.98823535
  0.98823535  0.98823535  0.98823535  0.99215692  0.98823535  0.67058825
  0.0509804   0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.09411766  0.98823535  0.98823535
  0.4666667   0.          0.03529412  0.76078439  0.98823535  0.98823535
  0.98823535  0.99215692  0.98823535  0.98823535  0.82352948  0.98823535
  0.99215692  0.98823535  0.98823535  0.54509807  0.          0.          0.
  0.          0.          0.          0.          0.          0.
  0.09411766  0.98823535  0.98823535  0.17647059  0.          0.91372555
  0.98823535  0.98823535  0.98823535  0.98823535  0.29411766  0.16862746
  0.53725493  0.8705883   0.98823535  0.99215692  0.98823535  0.98823535
  0.627451    0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.09411766  0.99215692  0.72156864
  0.          0.          1.          0.99215692  0.92549026  0.90196085
  0.36862746  0.54509807  0.83137262  0.99215692  0.99215692  0.99215692
  1.          0.93725497  0.45098042  0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.
  0.09411766  0.98823535  0.89019614  0.26274511  0.18431373  0.95294124
  0.82745105  0.72941178  0.63137257  0.95686281  0.99215692  0.98823535
  0.98823535  0.92156869  0.80784321  0.76862752  0.12941177  0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.02745098  0.60392159  0.98823535  0.98823535
  0.98823535  0.99215692  0.98823535  0.98823535  0.98823535  0.98823535
  0.99215692  0.98823535  0.91372555  0.25098041  0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.03529412
  0.76862752  0.98823535  0.98823535  0.99215692  0.98823535  0.98823535
  0.98823535  0.98823535  0.96078438  0.54509807  0.12941177  0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.06666667  0.45882356  0.94901967  0.74509805  0.53725493
  0.41568631  0.45882356  0.1254902   0.08235294  0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.          0.          0.          0.          0.          0.
  0.          0.        ]
Example training data label:  [ 0.  0.  0.  0.  0.  0.  1.  0.  0.  0.]

因为神经网络的输入是一个特征向量，所以将一张二维图像的像素矩阵放到一个一维数组中可以方便TensorFlow将图片的像素矩阵提供给神经网络的输入层。像素矩阵中的元素的取值 [0,1][0,1] ，它代表了颜色的深浅。其中 00 表示白色背景(backgroud)，11 表示黑色前景(forefround)。

mnist.train.images[0].shape
(784,)
sqrt(784)
28.0
a = mnist.train.images[0]
a.shape = [28,28]
imshow(a)
<matplotlib.image.AxesImage at 0x2115388dba8>

4. 使用mnist.train.next_batch来实现随机梯度下降。

mnist.train.next_batch可以从所有的训练数据中读取一小部分作为一个训练batch。

batch_size = 100
xs, ys = mnist.train.next_batch(batch_size)    # 从train的集合中选取batch_size个训练数据。
print("X shape:", xs.shape)                     
print("Y shape:", ys.shape)                     
X shape: (100, 784)
Y shape: (100, 10)

 

可乐的夏天
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MNIST CSV数据集
06-26
MNIST CSV数据集是MNIST数据集的一种变体，其中图像和标签信息以逗号分隔值（CSV）格式保存。MNIST是一个经典的手写数字图像数据集，包含大量的手写数字图像和对应的标签。 通常，原始的MNIST数据集以二进制格式提供，其中图像和标签信息存储在不同的文件中。然而，有时将MNIST数据集转换为CSV格式可以更方便地在各种编程环境中使用，因为CSV格式可以轻松地导入到许多数据处理工具和编程语言中，包括MATLAB。 在MNIST CSV数据集中，每个图像被展平为一维向量，并存储在CSV文件的每一行中。标签信息则作为一列添加到CSV文件中，与对应的图像相对应。 通过使用CSV格式的MNIST数据集，您可以使用MATLAB或其他编程工具加载CSV文件，读取图像数据和标签，并将其用于图像分类、数字识别或其他机器学习任务中
mnist数据集
06-28
mnist.npz数据库
MNIST数据集的简单读取（搬砖）
DR的博客
10-17 1303
今天看到了很多读取数据集的代码，思想就一个吧了解数据集存储结构，然后设计函数读取。 https://www.jianshu.com/p/e7c286530ab9 看了这位老哥的代码，稍微改一下，加了个标注，自己总结一下。 1.mnist数据集很好下载，这里不贴链接了。下载后是这样的 2.然后解压，这里包括60000张训练数据，10000张测试数据 3.里面的具体结构是这样的 4.前16个字节是描述信息，后面是数据信息，一张图片分成2825个字节存储，如测试数据集有10000张图片，前8个字节是描述信息，
TensorFlow 2.9的零零碎碎（二）-读取MNIST数据集
天边一坨浮云
08-09 4510
TensorFlow 2.9的零零碎碎（二）-读取MNIST数据集
关于读取及使用MNIST数据集
TO
02-13 2972
一、下载 推荐网盘下载，不用代码下载。不然太慢。 MNIST数据集包含四个压缩包，后两个是用于训练（分为images和labels），前两个用于测试（同样分为images和labels）。其中内容是不可读的：如。 其中，训练样本总共有60000个，包括55000用于训练，5000用于验证。对应得，有60000个标签（0-9）； 测试样本有10000个。 二、读取数据集的像素值 1、...
读取自己的mnist数据集代码mnist.py
11-27
模仿mnist数据集制作自己的数据集，并读取自己的数据集
MNIST的读取
04-25
MNIST的数据格式读取，分为标签和图像两块的读取，最后分别存到两个矩阵里
MNIST数据读取
l_ricardo的博客
08-11 3989
MNIST数据读取MNIST数据集是采用二进制存储，由于各种算法测试时都可以使用MNIST数据集进行测试，所以单独写一个类进行MNIST数据读取。MNIST数据格式训练数据集TRAINING SET IMAGE FILE: [offset] [type] [value] [description] 0000 32 bit integer 0x00000803(2051)
读取MNIST数据集的几种方法
JohnJim的博客
05-22 1万+
机器学习中处理MNIST数据集相当于编程语言中的"hello world"，其中训练集中包含60000 个examples, 测试集中包含10000个examples。数据为像素28*28=784的图像，标签为0-9等10个数字标签。 为方便处理，我们希望输出的数据为(x_train,y_train),(x_test,y_test)四个数组，其中x_train包含了60000个维度为784的向量表示图像，将标签进行one-hot编码，比如将数字标签2编码为[0,0,1,0,0,0,0,0,0,0]这样的数组
1.MNIST(简介&可视化)
disanda的专栏
06-02 3884
1.简介 MNIST 数据集来自美国国家标准与技术研究所, 是NIST(National Institute of Standards and Technology)的缩小版，训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员，测试集(test set) 也是同样比例...
MNIST读取简洁文件mnist.py
04-11
简化版的MNIST读取文件，斋藤康毅《深度学习入门》必备源码，简洁版，测试通过
mnist数据集和读取代码
09-13
The MNIST database of handwritten digits, available from this page, has a training set of 60,000 examples, and a test set of 10,000 examples. It is a subset of a larger set available from NIST. The digits have been size-normalized and centered in a fixed-size image.
读取mnist数据集并保存成图片代码
08-05
从二进制文件中读取mnist数据集并将其保存为图片格式
MNIST数据集读取转化为图像
11-28
自己改改路径，就能用，就能用就能用就能用就能用就能用就能用就能用
MNIST包含读取数据代码
04-08
含完整的数据集以及loadMNISTLabels.m和loadMNISTImages.m，是用来辅助读取数据的，然后直接运行main2.m就可以把数据集加载到matlab中啦！
使用NumPy读取MNIST数据的实现代码示例
01-20
如果直接从网络上读取mnist数据，恭喜你，目前国内基本需要一个小时以上。所以建议预先下载mnist数据包。 工作环境 当前我的工作环境如下：Win10 + Anaconda。使用Spyder4做为IDE。Anaconda的安装可以参考我的blog。...
【快速入门】MNIST手写数字数据集读取方法
weixin_44425647的博客
03-01 3474
1、MINIST共有4数据集，下载之后保存在磁盘中（最好放在你代码执行目录下，方便后期使用。）如新建一个文件夹D:*****\MNIST_data存放数据。 train-images-idx3-ubyte.gz: training set images (9912422 bytes) train-labels-idx1-ubyte.gz: training set labels (28881 by...
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)报错： HTTP Error 403: Forbidden
热门推荐
yogima的博客
06-11 2万+
使用的是pycharm。 报错信息如图所示： 分析： 一般来说HTTP Error 403: Forbidden是因为爬虫被限制，解释一下为什么会报关于url的错。 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data', one_...
怎么读取mnist数据集
最新发布
09-08
然后，你可以使用以下代码来读取数据集： ```python from tensorflow.examples.tutorials.mnist import input_data datapath = "./mnist/" mnist = input_data.read_data_sets(datapath, one_hot=True) train_x =...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值