TensorFlow2.0 大数据预处理Pipeline

最新推荐文章于 2024-06-29 01:14:34 发布
最新推荐文章于 2024-06-29 01:14:34 发布
阅读量1.1k 收藏 8
点赞数 1
分类专栏： TensorFlow 文章标签： tensorflow 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Triple_WDF/article/details/109188076
版权
本文介绍了在TensorFlow 2.0中处理大规模数据集的策略，包括使用tf.data.Dataset的map函数进行数据预处理，以及利用TFRecord文件存储和分批次读取数据。在处理过程中，注意到tf.py_function可能导致并行处理速度下降，并提供了应对策略。
摘要由CSDN通过智能技术生成

目录

一、为什么需要这样？

二、如何解决？

三、TF2.0提供的方法

1、tf.data.Dataset中的map函数

2、TFRecord

 

一、为什么需要这样？

        入门的时候，我们非常熟悉MNIST手写数字数据集，我们构建深度神经网络，比如CNN，MLP，LSTM等来训练数据集，我们一次性的加载了所有的数据集，然后不停地迭代训练。

        当数据集非常大，大到50GB，100GB的时候，我们显然是不能将所有数据加载到内存空间的，不然的话硬件要求是非常苛刻的。

二、如何解决？

      其实在我们训练的时候，我们一次需要加载的数据只有batch_size大小，所以我们没有必要将所有的数据全部加载到内存中，可以构建一个队列，每次加载几个batch_size，然后不停地用完，不停的补新，这样可以很好的减少内存开销。

三、TF2.0提供的方法

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pfeiKing
关注
专栏目录
订阅专栏
AIGC从入门到实战：AI 2.0 向多领域全场景应用迈进
程序员光剑
07-02 469
人工智能生成内容（Artificial Intelligence Generated Content，简称AIGC）作为人工智能领域的一个重要分支，近年来取得了突飞猛进的发展。从最初的文本生成到如今的多模态内容创作，AIGC技术正在深刻改变着我们创造和消费内容的方式。随着AI 2.0时代的到来，AIGC正在向多领域全场景应用迈进，为各行各业带来前所未有的机遇和挑战。
2019年c组c语言决赛平方拆分
有趣
03-23 408
问题描述】 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方 法？ 注意交换顺序视为同一种方法，例如 132 + 252 + 352 = 2019 与 132 + 352 + 252 = 2019 视为同一种方法。 【答案提交】 这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一 个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。 既然是结果填空题，就没有必要死太多脑细胞了，直接暴搜就行了，两种写法 #include <bits/stdc++.h&gt
（蓝桥）平方拆分
qq_51131591的博客
03-15 404
平方拆分问题描述：思路代码附上特别提醒 问题描述： 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方法？注意交换顺序视为同一种方法，例如 13平方 + 25平方 + 35平方 = 2019 与 132 + 352 +252 = 2019 视为同一种方法。 【答案提交】 这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。 思路 在1~根号2019之间搜索数，并进行组合问题，明显使用DFS深搜算法 确定深
蓝桥杯第十届国赛：平方拆分（dfs）
qx020814的博客
05-21 470
将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方法？ 注意交换顺序视为同一种方法， 例如 13^2 + 25^2 + 35^2 = 2019 与 13^2 + 35^2 +25^2 = 2019 视为同一种方法(^代表平方)。 本题填空，直接深搜找 1.没次dfs传入本次的减去本次平方 2.最大平方时45*44，所以不能超过45 3.当本次结果小于0时舍去，等于0就说明已经找到一种方法 4.为了去重，我们每次进行时就把当前的平方数i+1，不然会多出总搜索次数次 pac
2019\National _C_C++_C\试题 C: 平方拆分
Alex
11-11 2578
【问题描述】 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方法？ 注意交换顺序视为同一种方法，例如 132 + 252 + 352 = 2019 与 132 + 352 + 252 = 2019 视为同一种方法。 【答案提交】 这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。 DFS 直接打暴力有点慢，Python大概跑了两三分钟，但无所谓，填空题嘛，能暴力出来就懒得动脑子了。 Python def df
平方拆分java
weixin_43824233的博客
11-10 1074
【问题描述】 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方 法？ 注意交换顺序视为同一种方法，例如 132 + 252 + 352 = 2019 与 132 + 352 + 252 = 2019 视为同一种方法。 【答案提交】 这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一 个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。 思路:首先找到哪个数字的平方是大于2019的（45），于是我们就从45以内的数字找答案。最通俗的解法，每个数字都有选和不选的两
TensorFlow2_数据一般预处理
qq_51410100的博客
06-21 190
一般数据预处理： map每个数据项调用特定函数 shuffle打乱顺序 batch设定一次批处理个数 tf.data.Dataset.from_tensor_slices数据划分 import tensorflow as tf import keras.datasets as datasets def prepare_mnist_features_and_labels(x,y): x = tf.cast(x,tf.float64)/255.0 # 限制在
如何在TensorFlow中通过深度学习构建年龄和性别的多任务预测器
cumi6497的博客
07-31 667
by Cole Murray 通过科尔·默里(Cole Murray) In my last tutorial, you learned about how to combine a convolutional neural network and Long short-term memory (LTSM) to create captions given an image. In this t...
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
最新发布
程序员光剑
06-29 806
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
学习使用Tensorflow 2.0进行图像分类
06-15
学习使用Tensorflow 2.0进行图像分类， Beginner Image Classification Walkthrough With Tensorflow 2.0.
平方拆分 ， 数正方形，矩阵计数
qq_41486882的博客
06-01 347
平方拆分【问题描述】 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方 法？ 数正方形【问题描述】 在一个 N × N 的点阵上，取其中 4 个点恰好组成一个正方形的 4 个顶点， 一共有多少种不同的取法？ 矩阵计数 【问题描述】 一个 N × M 的方格矩阵，每一个方格中包含一个字符 O 或者字符 X。 要求矩阵中不存在连续一行 3 个 X 或者连续一列 3 个 X。 问这样的矩阵一共有多少种？
平方拆分-蓝桥杯国赛java
lin1151211427的博客
06-03 451
平方拆分： 本题总分：5 分 【问题描述】 将 2019 拆分为若干个两两不同的完全平方数之和，一共有多少种不同的方 法？ 注意交换顺序视为同一种方法，例如 13 2 + 25 2 + 35 2 = 2019 与 13 2 + 35 2 + 25 2 = 2019 视为同一种方法。 【答案提交】 这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一 个整数，在提交答案时只填写这个整数，填写多余的内容将无法得分。 分析： 我们只需要使用深搜就行 package 第十届; public class
Square Number-3258拆平方
GameRoad
05-01 454
题意： 询问给定的数字 有多少对两两相乘是一个平方数。 思路： n=x*x*y m=z*z*y n*m =x*x *z*z *y *y 因此只要是一次方相乘的数字相同就是一对。  例如 32= 2*2 *  2*2 *   2      8= 2*2  *2 相乘就是一组满足条件的解。 之后从抽象出来的数组中求组合Ca[i]  2 #include #include #
tensorflow2.0 图像处理项目_游戏爱好者应该看看这个开源项目
weixin_39730911的博客
11-06 141
关注公众号 “转角遇到GitHub” ，每天推荐给你优秀开源项目大家好，我是欧盆索思(opensource)，每天为你带来优秀的开源项目！今天推荐一个日本人开发的 2D 游戏库，使用 Go 语言实现。项目名称 Ebiten(/ebíteɴ/)，这是一个开源游戏库。项目地址：https://github.com/hajimehoshi/ebiten，Star 数 3.5k。Ebiten 的简单 AP...
TensorFlow2教程-CNN-RNN结构用于图像处理
知行_那片天
03-31 2035
Tensorflow 2.0 教程持续更新 ：https://blog.csdn.net/qq_31456593/article/details/88606284 完整tensorflow2.0教程代码请看tensorflow2.0：中文教程tensorflow2_tutorials_chinese(欢迎star) 入门教程： TensorFlow 2.0 教程- Keras 快速入门 Tenso...
使用TensorFlow2作图像分类
qq_42266817的博客
04-21 353
基本的机器学习工作流程： 检查并了解数据 建立输入管道 建立模型 训练模型 测试模型 改进模型并重复该过程 import pathlib import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequenti
Tensorflow2(keras)-图像预处理操作(tf.EagerTensor和tf.Tensor)
秀呀秀的博客
07-27 2011
在tensorflow.keras训练中，如果需要对图像进行预处理操作（数据增强操作），发现很多opencv方法用不了，不能对图像进行直接处理，就会报错： NotImplementedError: Cannot convert a symbolic Tensor to a numpy array 所以需要单独加载预处理方法，tf.py_function(aug_image_func, [image], tf.float32)，将处理操作放到aug_image_func中，就可以直接image.nu...
tensoflow2.0处理图像
z15005953031的博客
11-03 181
tensorflow处理图像 知识点： 1.读取数据使用tf.data 2.模型生成使用函数式api 3.多线程用evaluate对数据进行评估 # !/usr/bin/python # -*- coding: utf-8 -*- # @Time : 2021/11/2 20:32 # @Author : 郑浩鑫 # @Email : [email protected] # @File : class1.py # @Software: PyCharm ''' 图像的操作： 1.图片的读取
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值