Tensorflow实战之下载MNIST数据，自动分成train， validation和test三个数据集

最新推荐文章于 2024-08-24 16:44:35 发布
最新推荐文章于 2024-08-24 16:44:35 发布
阅读量1.8k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ctrigger/article/details/93863008
版权

TensorFlow 实战Google深度学习框架 第2版 ,郑泽宇之P96。下载MNIST数据，自动分成train， validation和test三个数据集，源码如下：

#!/usr/bin/env python
import os
from tensorflow.examples.tutorials.mnist import input_data
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

mnist = input_data.read_data_sets("MNIST_data", one_hot=True)

print("Training data size:\t", mnist.train.num_examples)
print("Validating data size:\t", mnist.validation.num_examples)
print("Testing data size:\t", mnist.test.num_examples)
print("Example training data:\t", mnist.train.images[0])
print("Example training data label:\t", mnist.train.labels[0])

运行结果如下：

"C:\Program Files\Python\Python37\python.exe" "D:/Pycharm Projects/MLDemo/MLDemo.py"
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
Training data size:	 55000
Validating data size:	 5000
Testing data size:	 10000
Example training data:	 [0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.3803922  0.37647063 0.3019608
 0.46274513 0.2392157  0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.3529412
 0.5411765  0.9215687  0.9215687  0.9215687  0.9215687  0.9215687
 0.9215687  0.9843138  0.9843138  0.9725491  0.9960785  0.9607844
 0.9215687  0.74509805 0.08235294 0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.54901963 0.9843138  0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.7411765  0.09019608 0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.8862746  0.9960785  0.81568635 0.7803922  0.7803922  0.7803922
 0.7803922  0.54509807 0.2392157  0.2392157  0.2392157  0.2392157
 0.2392157  0.5019608  0.8705883  0.9960785  0.9960785  0.7411765
 0.08235294 0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.14901961 0.32156864
 0.0509804  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.13333334 0.8352942  0.9960785  0.9960785  0.45098042 0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.32941177
 0.9960785  0.9960785  0.9176471  0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.32941177 0.9960785  0.9960785
 0.9176471  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.4156863  0.6156863  0.9960785  0.9960785  0.95294124 0.20000002
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.09803922
 0.45882356 0.8941177  0.8941177  0.8941177  0.9921569  0.9960785
 0.9960785  0.9960785  0.9960785  0.94117653 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.26666668 0.4666667  0.86274517 0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.9960785  0.5568628  0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.14509805 0.73333335 0.9921569
 0.9960785  0.9960785  0.9960785  0.8745099  0.8078432  0.8078432
 0.29411766 0.26666668 0.8431373  0.9960785  0.9960785  0.45882356
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.4431373  0.8588236  0.9960785  0.9490197  0.89019614 0.45098042
 0.34901962 0.12156864 0.         0.         0.         0.
 0.7843138  0.9960785  0.9450981  0.16078432 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.6627451  0.9960785
 0.6901961  0.24313727 0.         0.         0.         0.
 0.         0.         0.         0.18823531 0.9058824  0.9960785
 0.9176471  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.07058824 0.48627454 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.32941177 0.9960785  0.9960785  0.6509804  0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.54509807
 0.9960785  0.9333334  0.22352943 0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.8235295  0.9803922  0.9960785  0.65882355
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.9490197  0.9960785  0.93725497 0.22352943 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.34901962 0.9843138  0.9450981
 0.3372549  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.01960784 0.8078432  0.96470594 0.6156863  0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.01568628 0.45882356
 0.27058825 0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.        ]
Example training data label:	 [0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]

Process finished with exit code 0

 

ctrigger
关注
tensorflow实现残差网络方式(mnist数据集)
09-16
model.fit(mnist.train.images, mnist.train.labels, epochs=10, validation_data=(mnist.test.images, mnist.test.labels)) ``` 通过这个过程，我们就用TensorFlow实现了一个简化的ResNet模型，适用于MNIST数据集...
Pytorch：train、test、val数据集划分
weixin_62637793的博客
11-19 6902
（1）如果只有train和test两个数据集，会给一个train=True代表划分训练集。如果设定train=Flase得到test的划分。 # 加载的代码操作，划分数据集 train_loader=torch.utils.data.DataLoader( datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([
pytorch实现mnist数据集分类
abc1234598的博客
03-20 2518
1.数据准备   pytorch框架内置的torchvision中的datasets类中有一些常见的数据集。本文采用随机梯度下降的算法来训练数据，数据集构造如下所示： # 将数据集转换成张量并且归一化 transform = transforms.Compose({ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))} ) # 下载数据集，download= True表示从网络下载，本文已经下载好了这
训练集（train)、验证集（validation）和测试集（test）
最新发布
weixin_44012667的博客
08-24 337
训练集（train)、验证集（validation）和测试集（test）
怎么划分torchvision.datasets.FashionMNIST训练集和测试集？
weixin_42575505的博客
01-13 360
可以使用torch.utils.data.random_split()函数将torchvision.datasets.FashionMNIST数据集划分为训练集和测试集。该函数接受两个参数：要划分的数据集和比例列表，其中训练集所占比例在前，测试集所占比例在后。例如，将FashionMNIST数据集的80%作为训练集，20%作为测试集可以这样做： from torch.utils.data impo...
ultralytics yolov8 实例分割 训练自有数据集
weixin_42357472的博客
11-22 406
参考： https://docs.ultralytics.com/datasets/segment/coco/ http://www.bryh.cn/a/613333.html1）数据集下载： 参考：https://universe.roboflow.com/naumov-igor-segmentation/car-segmetarion 下载的是coco格式，需要转换 2）coco2yolo txt格式转换 参考：https://github.com/ultralytics/JSON2YOLO/blob
训练过程中的train，val，test的区别
热门推荐
韵开
08-29 5万+
train是训练集，val是训练过程中的测试集，是为了让你在边训练边看到训练的结果，及时判断学习状态。test就是训练模型结束后，用于评价模型结果的测试集。只有train就可以训练，val不是必须的，比例也可以设置很小。test对于model训练也不是必须的，但是一般都要预留一些用来检测，通常推荐比例是8:1:1 val是validation的简称。training datas...
使用TensorFlow直接获取处理MNIST数据方式
09-17
# 加载MNIST数据集，如果本地不存在，TensorFlow将自动从网上下载 mnist = input_data.read_data_sets("/tensorflow_google") ``` 在加载数据后，你可以访问`mnist`对象的属性来获取训练、验证和测试数据的信息： ...
tensorflow入门教程之mnist识别手写数字.rar
12-09
TensorFlow库提供了一个方便的函数`tf.keras.datasets.mnist.load_data()`来下载和预处理数据： ```python (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() ``` 数据集中的图像为...
基于Tensorflow读取MNIST数据集时网络超时的解决方式
12-17
在使用TensorFlow学习深度学习的过程中，MNIST数据集是最常用的手写数字识别数据集，它包含训练集和测试集，用于构建和评估简单的神经网络模型。然而，有时在尝试通过`tensorflow.examples.tutorials.mnist.input_...
mnist数据集下载--代码导入你下载的文件夹即可
10-14
这段代码会自动下载MNIST数据集并将其加载到`x_train`, `y_train`, `x_test`, `y_test`四个变量中。`x_train`和`x_test`是形状为`(60000, 28, 28)`和`(10000, 28, 28)`的二维数组，分别代表训练集和测试集中的图像...
MNIST_train数据集下载()
11-01
MNIST数据集!
机器学习中的train valid test以及交叉验证
weixin_41036461的博客
07-03 1850
https://www.cnblogs.com/rainsoul/p/6373385.html参考博客：http://blog.csdn.net/u010167269/article/details/51340070在以前的网络训练中，有关于验证集一直比较疑惑，在一些机器学习的教程中，都会提到，将数据集分为三部分，即训练集，验证集与测试集，但是由于工作中涉及到的都是神经网络的训练，大部分的情况是将...
训练过程中train-test-val数据集的区别
小柚的博客
03-25 1059
train是训练集，val是训练过程中的测试集，是为了让你在边训练边看到训练的结果，及时判断学习状态。你可以通过观察validation的loss和train的loss定下你需要的模型。如果跑caffe自带的训练demo，你会用到train_val.prototxt，这里面的val其实就是validation。而因为validation的数据集和training没有交集，所以这部分数据对最终训练出的模型没有贡献。比如训练0-10000次迭代过程中，train和validation的loss都是不断降低，
TensorFlow入门-数据集MNIST的下载及训练
ll523587181的博客
03-21 2730
折腾了很久caffe, 无论是ubuntu还是windows都没下载成功 = = 算了算了转战TensorFlow。第一次根据官网提供的python3地址下载时，报错说tensorflow-0.5.0-cp27-none-linux_x86_64.whl is not a supported wheel on this platform.后来发现是url地址问题，我用的python3.5，地址应该...
mnist转换为3通道的224*244，生成训练train.txt和vaild.txt
baidu_40840693的博客
06-25 2307
参考GitHub： https://github.com/yangninghua/deeplearning_backbone 生成txt import numpy as np import struct from PIL import Image import os data_file = 't10k-images.idx3-ubyte' # It's 7840016B, b...
tensorflow-训练（train）/测试（test）
weixin_30566063的博客
11-14 784
一个TFRecords 文件为一个字符串序列。这种格式并非随机获取，它比较适合大规模的数据流，而不太适合需要快速分区或其他非序列获取方式。 操作组 操作 Training Optimizers，Gradient Computation，Gradient Clipping，Distributed execution ...
[Sloved] Tensorflow 中train和test的batchsize不同时, 如何设置: tf.nn.conv2d_transpose
zhouxiaowei1120的博客
01-03 3775
注: 本文是作者的自我总结,主要作为个人总结记录, 欢迎大家批评,交流. https://zhouxiaowei1120.github.io/#blogs 大家可能都知道, 在tensorflow中, 如果想实现测试时的batchsize大小随意设置, 那么在训练时, 输入的placeholder的shape应该设置为[None, H, W, C]. 具体代码如下所示: # Placeholder...
深度学习实例之基于mnist的手写数字识别
笨拙的石头的博客
05-25 4786
本文使用全连接网络进行手写数字识别.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值