13.tf.data使用实例

最新推荐文章于 2022-08-21 23:41:51 发布
最新推荐文章于 2022-08-21 23:41:51 发布
阅读量149 收藏
点赞数
分类专栏： tensorflow笔记 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/potato123232/article/details/120566515
版权

目录

1  导入库

2  加载数据集

3  归一化

4  创建数据集

4.1  创建训练图片数据集

4.2  创建训练标签数据集

4.3  把这两个数据集合并到一起

5  处理训练集

5.1  乱序

5.2  重复

5.3  设置批次

6  创建测试集

7  建立模型

8  编译模型

9  训练模型

1  导入库

2  加载数据集

我们这次换为mnist数据集，这个数据集是手写数字的数据集

3  归一化

我们此时看一下train_iamge的shape

4  创建数据集


4.1  创建训练图片数据集

我们看一下我们的图片数据集

4.2  创建训练标签数据集

我们同样看一下

4.3  把这两个数据集合并到一起

我们想把这两个数据合并成元组的形式，所以要额外加一个括号

看一下合并后的数据集

5  处理训练集


5.1  乱序

乱序个数我们现在设置为10000，这个数是随便选的，我们一共有60000张图片，全部乱序会影响速度，乱序太少会没有效果

5.2  重复

我们令其无限次重复

5.3  设置批次

我们将其设置为一批64个

6  创建测试集

测试集后面给validation_data用的，能更加准确的获取acc与loss

我们在创建的时候这样写就行

看一下这个测试集

我们没有必要对test数据集进行乱序，因为测试集仅在前向转播时使用，不会对其余参数造成影响，由于测试集不用随机，那么测试集也就不用重复，训练集重复的意义是每一次重复都是随机顺序的数据，我们唯一就是需要将测试集的batch调整至与训练集相同的batch值

  • 如果内存够大batch也不用改，对于mnist这个数据量小的数据集来讲batch是不需要添加的

7  建立模型

8  编译模型

sparse_categorical_crossentropy我们从上面的shape可以看出来，train_label是由单一的数组成的，所以此处的loss使用sparse_categorical_crossentropy


9  训练模型

因为我们上面定义了batch，所以我们在这里要使用steps_per_epochs(每个epochs的步数)，如果我们不加入这个就会导致我们只训练64个数据，如果加上了这个就会第一批训练64个，然后第二批再训练64个

由于ds_test默认为无限循环，所以我们要加入validation_steps这个参数，这个参数的值是测试集个数 // batch

  • train_image.shape[0]是训练图片的总个数，在这里是60000，test_image.shape[0]是测试图片的个数，这里是10000
  • 步数这里注意一定要是整数，不然会报错

后面我们可以用这个模型进行评估与预测，我们就不在这赘述了

Suyuoa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
tensorflow生成多个tfrecord文件实例
01-21
我就废话不多说了，直接上代码吧！ import tensorflow as tf from PIL import Image import matplotlib.pyplot as plt import numpy as np import os i = 0 j = 0 num_shards = 100#总共写入的文件个数 instances_per_shard = 2#每个文件中的数据个数 sess=tf.InteractiveSession() cwd = F:/寒假/google--data/新建文件夹/ #图片数据所在目录位置(读者自己去改就好了) classes = {'dai
yolov3-tf2：在Tensorflow 2.0中实现的YoloV3
02-03
在TensorFlow 2.0中实现的YoloV3 此仓库使用所有最佳实践在TensorFlow 2.0中提供了YoloV3的干净实现。 主要特点 TensorFlow 2.0 yolov3具有预先训练的权重 yolov3-tiny具有预先训练的权重 推论实例 转移学习的例子 使用tf.GradientTape急切模式训练 使用model.fit图模式训练 具有tf.keras.layers功能模型 使用tf.data输入管道 Tensorflow服务 向量化转换 GPU加速 完全集成的absl-py从 干净的实施 遵循最佳做法 麻省理工学院执照 用法 安装 conda（推荐） # Tensorflow CPU conda env create -f conda-cpu.yml conda activate yolov3-tf2-cpu # Tensorflow GPU conda env create -f conda-gpu.yml conda activate yolov3-tf2-gpu 点子 pip install -r requireme
tf_aws_ec2_instance:[已弃用]使用https
05-14
ec2_instance terraform模块 不建议使用此模块，而应使用发布的。 该存储库将不再有有效的支持。 用于制作ec2实例的terraform模块。 假设您正在VPC中创建实例。 尚未执行任何块设备配置 模块输入变量 ami_id要使用的AMI number_of_instances您要创建的实例数 subnet_id将实例放置在的VPC子网 instance_type -EC2实例类型，例如m1.small instance_name的实例名称，用于填充Name标记。 user_data -user_data文件的路径。 启动实例时，Terraform将包含此文件的内容 tags -用于设置AWS标签的地图。 用法 您可以通过以下步骤在terraform模板中使用它。 在模板中添加模块资源，例如main.tf module "ec2_instance" {
使用Tensorflow将自己的数据分割成batch训练实例
01-20
学习神经网络的时候，网上的数据集已经分割成了batch，训练的时候直接使用batch.next()就可以获取batch，但是有的时候需要使用自己的数据集，然而自己的数据集不是batch形式，就需要将其转换为batch形式，本文将介绍一个将数据打包成batch的方法。 一、tf.slice_input_producer（） 首先需要讲解两个函数,第一个函数是 ：tf.slice_input_producer（），这个函数的作用是从输入的tensor_list按要求抽取一个tensor放入文件名队列，下面解释下各个参数： tf.slice_input_producer(tensor_list,
TensorFlow tf.data 导入数据（tf.data官方教程） * * * * *
热门推荐
黑暗星球
06-19 3万+
上一篇介绍了
tf.data处理数据全过程——代码详解
AI_eNyu的博客
08-21 1621
**`tf.data`为tensorflow官方最为推荐的处理数据的模块**。本文通过实例详细叙述使用`tf.data`处理数据的方法，其中包括**读入数据、预处理数据、使用数据增强**等，同时本文针对上述过程中涉及到的python 及 tensorflow 的api均进行了详细的说明，以求充分理解并自行完成满足实际需求的代码。本文使用tensorflow版本为v2.6且本文内容在**v2.0以上版本均适用。**...
02-tensorflow中tf.data()用于卷积网络的综合应用实例
Serendipity_zyx的博客
05-11 481
文章目录1. 配置并下载数据集2. 检查数据集 tf.data卷积神经网络综合应用实例 使用tf.data建立数据集，并使用CNN卷积神经网络实现对花卉的分类问题。 1. 配置并下载数据集 import tensorflow as tf AUTOTUNE = tf.data.experimental.AUTOTUNE 在Python 3.4之后，标准库添加了新的模块 pathlib，它使用面向对象的编程方式来表示文件系统路径。 Pathlib模块使用的笔记可参考：https://www.pynote.ne
机器学习之加载查看数据集
在阅读中成长
04-01 1572
sklearn datasets模块 一、导入数据集 sklearn.datasets模块主要提供了一些导入、在线下载及本地生成数据集的方法。 主要有三种形式：datasets.load_()、datasets.fetch_()及datasets.make_*()的方法。*为数据集名称 ① datasets.load_dataset_name（）：sklearn包自带的小数据集 ②datasets.fetch_dataset_name（）：比较大的数据集，主要用于测试解决实际问题，支持在线下载 ③datas
tensorflow使用tf.data.Dataset 处理大型数据集
weixin_43790560的博客
07-08 7814
最近深度学习用到的数据集比较大，如果一次性将数据集读入内存，那服务器是顶不住的，所以需要分批进行读取，这里就用到了tf.data.Dataset构建数据集，先看一个博文，入入门： https://www.jianshu.com/p/f580f4fc2ba0 概括一下，tf.data.Dataset主要有几个部分最重要： 构建生成器函数 使用tf.data.Dataset的from_genera...
TensorFlow数据验证(TensorFlow Data Validation)介绍：理解、验证和监控大规模数据
云水木石
09-18 4901
本文翻译自Medium上的一篇文章，原文: https://medium.com/tensorflow/introducing-tensorflow-data-validation-data-understanding-validation-and-monitoring-at-scale-d38e3952c2f0 今天我们推出了TensorFlow数据验证(TensorFlow Data V...
terraform-ec2-userdata:terraform代码使用userdata构建ec2实例
03-20
使用Terraform用用户数据配置ec2实例 先决条件： 从链接下载Terraform并在Linux机器中进行设置。 （这里我使用的是ec2实例）在实例中配置aws cli。 首先我们需要创建一个目录 mkdir ec2-userdata cd ec2-userdata ...
【Keras】tf.data ：数据集的构建与预处理
qq_36643449的博客
05-05 1651
很多时候，我们希望使用自己的数据集来训练模型。然而，面对一堆格式不一的原始数据文件，将其预处理并读入程序的过程往往十分繁琐，甚至比模型的设计还要耗费精力。比如，为了读入一批图像文件，我们可能需要纠结于 python 的各种图像处理包（比如 pillow ），自己设计 Batch 的生成方式，最后还可能在运行的效率上不尽如人意。为此，TensorFlow 提供了 tf.data 这一模块，包括了一套灵活的数据集构建 API，能够帮助我们快速、高效地构建数据输入的流水线，尤其适用于数据量巨大的场景。 一、数据集
日月光华深度学习(五)--卫星图像识别tf.data、卷积综合实例
qq_43906485的博客
03-23 901
卫星图像识别tf.data、卷积综合实例[5.1]--卫星图像识别卷积综合实例：图片数据读取[5.2]--卫星图像识别卷积综合实例：读取和解码图片[5.3]--卫星图像识别卷积综合实例：tf.data构造输入[5.4]--卫星图像识别卷积综合实例tf.data构建图片输入管道[5.5]--卫星图像识别卷积综合实例分类模型训练[5.6]--批标准化 [5.1]–卫星图像识别卷积综合实例：图片数据读取 import tensorflow as tf from tensorflow import keras i
【tensorflow2.0】tf.data输入模块实例
糊涂懿的博客
11-06 295
准备工作： import tensorflow as tf #加载手写数字数据集 (train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data() #将数据集归一化 train_images = train_images / 255 test_images = test_images / 255 创建Dataset： ds_train_img = tf.data.Data...
tf.data学习指南（超实用、超详细）
我的博客有点东西
07-22 1万+
tf.data是一个极其好用的数据读取管道搭建的API，甚至在tensorflow2.0中完全代替了诸如队列等其他方法。 使用该API构建数据管道，主要依靠两个API： tf.data.Dataset tf.data.Iterator tf.data.Dataset用于读入数据，做预处理，调整batch和epoch等常规操作，而读取数据则依赖于Iterator接口。这二者的关系和Pytorch...
tf.data.Dataset图像预处理详解
Marvek的博客
11-13 1万+
目录1、tf.data.Dataset2、Dataset常用函数3、图像预处理的第一种方式3.1、导入依赖库3.2、定义常量3.3、读取文本中的图片标签对3.4、实例化Dataset并完成图像预处理3.5、从Dataset中获取数据4、注意事项 1、tf.data.Dataset 当训练集的样本特别大时， 比较适合tf.data.Dataset作为数据输入管线，相当方便。然而真正在使用tf.dat...
tf.data.Dataset读取数据的几种方式案例
z2539329562的博客
05-04 6524
读取方式1：一次性将序列读入计算图中。 import tensorflow as tf import numpy as np x = {"a": [i for i in range(5)], "b": np.random.uniform(size=(5, 2))} #创建dataset，里面包含 5个元素，分别为 # {'a': 0, 'b': array([0.31102...
TensorFlow学习（十五）：使用tf.data来创建输入流(上)
谢小小XH
03-26 7621
本文将讲解深度学习使用数据的一整套流水线. 将使用tensorflow新的tf.data 的一系列API来讲解. Dataset能够有效简化数据读取和使用等等一些的复杂程度,是现在官方推荐的数据使用方式. 官方文档:Module: tf.data 一.使用Dataset 使用 Dataset 需要遵循三个步骤： 载入数据：为数据创建一个Dataset实例。 创建一个迭代器：...
TensorFlow2.0读取csv文件，划分训练测试集，并训练
逆流而上Mr李
07-09 4600
本教程展示了如何对结构化数据进行分类（例如CSV中的表格数据）。我们使用Keras定义模型，并将csv中各列的特征转化为训练的输入。 本教程包含以下功能代码： 使用Pandas加载CSV文件。 构建一个输入的pipeline，使用tf.data批处理和打乱数据。 从CSV中的列映射到用于训练模型的输入要素。 使用Keras构建，训练和评估模型。 1、导包，查看tensorflow版本 from __future__ import absolute_import, division, print_
tf.train.slice_input_producer使用实例
最新发布
06-09
首先，我们可以使用tf.train.slice_input_producer函数将数据集切分成若干个batch，然后每个batch通过多个线程异步读取数据： ```python import tensorflow as tf # 构造数据集 data = [] for i in range(100): ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Suyuoa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值