Google老师亲授 TensorFlow2.0入门到进阶笔记- (dataset)

于 2021-10-08 00:26:31 发布
阅读量564 收藏 1
点赞数
分类专栏： TensorFlow 文章标签： tensorflow 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_xuanshuang/article/details/120642719
版权

 版本：numpy 1.16.6         tensorflow 2.2.0         tensorflow.keras 2.3.0-tf

1. 引入

  • DataSet基础使用
    • tf.data.Dataset.from_tensor_slices # 构建dataset
    • repeat, batch, interleave, map, shuffle, list_files,...
  • csv
    • tf.data.TextLineDataset, # 读取文本文件
    • tf.io.decode_csv # 解析csv
  • tfrecord
    • tf.train.FloatList, tf.train.Int64List, tf.train.BytesList
    • tf.train.Feature, tf.train.Features, tf.train.Example # 封装tfexample写到文件中去
    • example.SerializeToString # 序列化
    • tf.io.ParseSingleExample # 解析一个具体的tf example
    • tf.io.VarLenFeature, tf.io.FixedLenFeature
    • tf.data.TFRecoredDataset, tf.io.TFRecoredOptions

2. 基础API使用

2.1 从内存中构建数据

从内存中构建数据集，参数可以是普通的列表、numpy的一个数组、元组或字典，其中元组形如(x,y)，字典形如{key1: x, key2:y}，其中x和y的第一个维度需要相同

# 普通的列表
# TensorSliceDataset shapes: (), types: tf.int32
dataset = tf.data.Dataset.from_tensor_slices(list(range(10)))
# numpy数组
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))

x = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array(['cat', 'dog', 'fox'])
# 元祖
# TensorSliceDataset shapes: ((2,), ()), types: (tf.int64, tf.string)
dataset = tf.data.Dataset.from_tensor_slices((x, y))
# 字典
# TensorSliceDataset 
# shapes: {feature: (2,), label: ()}, 
# types: {feature: tf.int32, label: tf.string}
dataset = tf.data.Dataset.from_tensor_slices({'feature': x, 'label': y})

2.2 遍历数据

列表 or numpy数组

dataset = tf.data.Dataset.from_tensor_slices(list(range(10)))
for item in dataset:
    print(item)
    print(item.shape, type(item))
    print(item.numpy())
    print()

其中，dataset的类型是：class 'tensorflow.python.data.ops.dataset_ops.TensorSliceDataset'，里面的每一个元素的类型是：class 'tensorflow.python.framework.ops.EagerTensor'

输出：形如：

tf.Tensor(0, shape=(), dtype=int32)
() <class 'tensorflow.python.framework.ops.EagerTensor'>
0

tf.Tensor(1, shape=(), dtype=int32)
() <class 'tensorflow.python.framework.ops.EagerTensor'>
1
.
.
.
tf.Tensor(9, shape=(), dtype=int32)
() <class 'tensorflow.python.framework.ops.EagerTensor'>
9

 元组

x = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array(['cat', 'dog', 'fox'])
dataset = tf.data.Dataset.from_tensor_slices((x, y))
for item in dataset:
    print(item)
    print("=" * 40)
    break
    
for item_x, item_y in dataset:
    print(item_x)
    print(item_y)
    print("=" * 20)

 输出：

(<tf.Tensor: shape=(2,), dtype=int32, numpy=array([1, 2], dtype=int32)>, <tf.Tensor: shape=(), dtype=string, numpy=b'cat'>)
========================================
tf.Tensor([1 2], shape=(2,), dtype=int32)
tf.Tensor(b'cat', shape=(), dtype=string)
====================
tf.Tensor([3 4], shape=(2,), dtype=int32)
tf.Tensor(b'dog', shape=(), dtype=string)
====================
tf.Tensor([5 6], shape=(2,), dtype=int32)
tf.Tensor(b'fox', shape=(), dtype=string)
====================

字典

x = [[1, 2], [3, 4], [5, 6]]
y = ['cat', 'dog', 'fox']
dataset = tf.data.Dataset.from_tensor_slices({'feature': x, 'label': y})
for item in dataset:
    print(item)
    print(item['feature'])
    print(item['label'])
    print("=" * 20)

输出：

{'feature': <tf.Tensor: shape=(2,), dtype=int32, numpy=array([1, 2], dtype=int32)>, 'label': <tf.Tensor: shape=(), dtype=string, numpy=b'cat'>}
tf.Tensor([1 2], shape=(2,), dtype=int32)
tf.Tensor(b'cat', shape=(), dtype=string)
====================
{'feature': <tf.Tensor: shape=(2,), dtype=int32, numpy=array([3, 4], dtype=int32)>, 'label': <tf.Tensor: shape=(), dtype=string, numpy=b'dog'>}
tf.Tensor([3 4], shape=(2,), dtype=int32)
tf.Tensor(b'dog', shape=(), dtype=string)
====================
{'feature': <tf.Tensor: shape=(2,), dtype=int32, numpy=array([5, 6], dtype=int32)>, 'label': <tf.Tensor: shape=(), dtype=string, numpy=b'fox'>}
tf.Tensor([5 6], shape=(2,), dtype=int32)
tf.Tensor(b'fox', shape=(), dtype=string)
====================

2.2 repeat

重复

遍历：repeat将原数据重复指定次数，在遍历的时候，每个元素的类型同未repeat的时候一致，只不过元素的数目变多了，是原来数据的制指定次数倍。

dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))
dataset = dataset.repeat(3)
print(dataset)
print(type(dataset))

输出：

<RepeatDataset shapes: (), types: tf.int64>
<class 'tensorflow.python.data.ops.dataset_ops.RepeatDataset'>

dataset = tf.data.Dataset.from_tensor_slices({'feature': x, 'label': y})
dataset = dataset.repeat(2)
print(dataset)
print(type(dataset))
for item in dataset:
    print(item['feature'])
    print(item['label'])
    print("=" * 40)

输出：

<RepeatDataset shapes: {feature: (2,), label: ()}, types: {feature: tf.int32, label: tf.string}>
<class 'tensorflow.python.data.ops.dataset_ops.RepeatDataset'> 
tf.Tensor([1 2], shape=(2,), dtype=int32)
tf.Tensor(b'cat', shape=(), dtype=string)
========================================
tf.Tensor([3 4], shape=(2,), dtype=int32)
tf.Tensor(b'dog', shape=(), dtype=string)
========================================
tf.Tensor([5 6], shape=(2,), dtype=int32)
tf.Tensor(b'fox', shape=(), dtype=string)
========================================
tf.Tensor([1 2], shape=(2,), dtype=int32)
tf.Tensor(b'cat', shape=(), dtype=string)
========================================
tf.Tensor([3 4], shape=(2,), dtype=int32)
tf.Tensor(b'dog', shape=(), dtype=string)
========================================
tf.Tensor([5 6], shape=(2,), dtype=int32)
tf.Tensor(b'fox', shape=(), dtype=string)
========================================

2.3 batch

dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))
dataset = dataset.repeat(3).batch(7, drop_remainder=True)
print(dataset)
print(type(dataset))
for item in dataset:
    print(item)
    print(item.shape, type(item))
    print(item.numpy())
    print()
<BatchDataset shapes: (7,), types: tf.int64>
<class 'tensorflow.python.data.ops.dataset_ops.BatchDataset'>tf.Tensor([0 1 2 3 4 5 6], shape=(7,), dtype=int64)
(7,) <class 'tensorflow.python.framework.ops.EagerTensor'>
[0 1 2 3 4 5 6]

tf.Tensor([7 8 9 0 1 2 3], shape=(7,), dtype=int64)
(7,) <class 'tensorflow.python.framework.ops.EagerTensor'>
[7 8 9 0 1 2 3]

tf.Tensor([4 5 6 7 8 9 0], shape=(7,), dtype=int64)
(7,) <class 'tensorflow.python.framework.ops.EagerTensor'>
[4 5 6 7 8 9 0]

tf.Tensor([1 2 3 4 5 6 7], shape=(7,), dtype=int64)
(7,) <class 'tensorflow.python.framework.ops.EagerTensor'>
[1 2 3 4 5 6 7]

dataset = tf.data.Dataset.from_tensor_slices({'feature': x, 'label': y})
dataset = dataset.repeat(2).batch(5)
print(dataset)
print(type(dataset))
for item in dataset:
    print(item['feature'])
    print(item['label'])
    print(type(item), type(item['feature']), type(item['label']))
    print("=" * 40)

输出：

<BatchDataset shapes: {feature: (None, 2), label: (None,)}, types: {feature: tf.int32, label: tf.string}>
<class 'tensorflow.python.data.ops.dataset_ops.BatchDataset'>
tf.Tensor(
[[1 2]
 [3 4]
 [5 6]
 [1 2]
 [3 4]], shape=(5, 2), dtype=int32)
tf.Tensor([b'cat' b'dog' b'fox' b'cat' b'dog'], shape=(5,), dtype=string)
<class 'dict'> <class 'tensorflow.python.framework.ops.EagerTensor'> <class 'tensorflow.python.framework.ops.EagerTensor'>
========================================
tf.Tensor([[5 6]], shape=(1, 2), dtype=int32)
tf.Tensor([b'fox'], shape=(1,), dtype=string)
<class 'dict'> <class 'tensorflow.python.framework.ops.EagerTensor'> <class 'tensorflow.python.framework.ops.EagerTensor'>
========================================

2.4 interleave 

interleave: 对现有dataset中的每一个元素做处理，每个元素做完处理会产生一个新的结果，interleave会把这些新的结果合并起来，形成一个新的数据集。
case: 例如现有的dataset里面存入的是一系列的文件名，用interleave去做一个变化，遍历文件名数据集中的所有元素集文件名，把文件名对应的文件的内容读取出来，这样每个文件名都形成新的数据集，interleave把新的数据集合并起来，成为一个总的大数据集。    

几个关键的参数：

  • map_fn: 做什么变换
  • cycle_length：并行程度，同时并行的处理该dataset中多少个元素
  • block_length：从上面变换的结果中每次取多少个出来

一杯敬朝阳一杯敬月光
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow-similarity 学习笔记8
xxxx___sdu的博客
12-26 695
TensorFlow-similarity 学习笔记8 2021SC@SDUSC 接下来的两篇博客为Tensorflor.Keras的学习和总结。 Part 1: 数据加载(Data Loading) Part 1: 数据加载 Data LoadingTensorFlow-similarity 学习笔记8导入 Keras数据加载加载图像图像生成器加载文本加载 CSVNumPy 数组作为数据集从函数生成数据结论 Keras is a Deep Learning API of TensorFlow 2.0 u
深度学习之生成对抗网络（3）DCGAN实战
weixin_43360025的博客
10-11 1624
深度学习之生成对抗网络（3）DCGAN实战1. 动漫图片数据集2. 生成器3. 判别器4. 训练与可视化判别网络生成网络网络训练5. 完整代码datasetGANGAN_train  本节我们来完成一个二次元动漫头像图片生成实战，参考DCGAN的网络结构，其中判别器D利用普通卷积层实现，生成器G利用转置卷积层实现，其网络结构如下图所示： DCGAN网络结构 1. 动漫图片数据集  这里使用的是一组二次元动漫头像数据集[1][2]，共51223张图片，无标注信息，图片主体已裁剪、对齐并统一缩放到96×96
tensorflow2.0 Dataset创建和使用
CICI❤️的博客
03-30 837
一、创建Dataset # 可以接收一个numpy.ndarray、tuple、dict dataset = tf.data.Dataset.from_tensor_slices(np.arange(10).reshape((5,2))) dataset = tf.data.Dataset.from_tensor_slices(([1,2,3,4,5,6],[10,20,30,40,50,60])) dataset = tf.data.Dataset.from_tensor_slices({"x":[1,2
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记）
05-05
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记） 第1章 Tensorflow简介与环境搭建 第2章 Tensorflow keras实战 第3章 Tensorflow基础API使用 第4章 Tensorflow dataset使用 第5章 Tensorflow Estimator使用与tf1.0 第6章 卷积神经网络 第7章 循环神经网络 第8章 Tensorflow分布式 第9章 Tensorflow模型保存与部署 资料
Google老师亲授 TensorFlow2.0 入门到进阶
最新发布
09-13
分享课程——Google老师亲授 TensorFlow2.0 入门到进阶
TensorFlow2.0入门到进阶2.3 —— 一个服装分类项目轻松入门TensorFlow
12-21
本项目将用采用sklearn自带的数据集，带大家轻松入门TensorFlow。 开发环境： tensorflow 2.0.0 sklearn 0.21.3 文章目录1、导入所需模块2、加载数据集3、数据查看4、创建训练模型（神经网络）5、查看模型（神经网络...
Google大佬Josh Gordon发布Tensorflow 2.0入门教程，Intro+to+TensorFlow+2.0.zip
11-02
Google大佬Josh Gordon发布Tensorflow 2.0入门教程。TensorFlow 2.0删除了冗余的API，完全采用Keras作为高级应用程序编程接口（API），使API更加一致（统一RNNs, 统一优化器），并通过Eager execution更好地与Python...
【No236】tensorflow入门到精通视频教程+源码
06-12
【No236】tensorflow入门到精通视频教程+源码!
谷歌tensorflow例程2
10-23
谷歌tensorflow安卓例程，是分开打包的，一共4个，要一起下载后解压缩。工程包括1000物体识别，90物体检测，图片风格融合，英文单词语音识别
tensorflow dataset_ops batch()方法 （将此数据集的连续元素合并为批）
Dontla的博客
12-11 774
def batch(self, batch_size, drop_remainder=False): """Combines consecutive elements of this dataset into batches. 将此数据集的连续元素合并为批。 The tensors in the resulting element will have an addit...
Tensorflow中API------tf.data.Dataset使用
Irving.She Blog
06-04 2万+
Tensorflow API: tf.data.Dataset使用 Tensorflow中之前主要用的数据读取方式主要有： 建立placeholder，然后使用feed_dict将数据feed进placeholder进行使用。使用这种方法十分灵活，可以一下子将所有数据读入内存，然后分batch进行feed；也可以建立一个Python的generator，一个batch一个batch的将数据读...
TensorFlow 2.0 教程
热门推荐
知行_那片天
03-16 11万+
最全TensorFlow2.0教程-持续更新 Tensorflow 2.0 教程持续更新： TensorFlow 2.0 教程- Keras 快速入门 TensorFlow 2.0 教程-keras 函数api TensorFlow 2.0 教程-使用keras训练模型 TensorFlow 2.0 教程-用keras构建自己的网络层 TensorFlow 2.0 教程-keras模型保存和序列化...
【DL学习笔记】tensorflow 2.0.0 环境配置
刘培誉Sonia
01-06 188
目录参考链接兼容的操作系统兼容的python的版本安装编译器 参考链接 Tensorflow 2.0 的安装 兼容的操作系统 Ubuntn 16.04或者更高的版本 Windows7 或者更高的版本 macOS 10.12.6(Siera)或者更高的版本（不支持GPU） Raspbian 9.0或者更高的版本 兼容的python的版本 python 2.7——3.6 安装 **CPU pip in...
win10+TensorFlow安装教程：
Allen__0218的博客
07-04 1301
win10+TensorFlow安装教程： 安装Anaconda 安装cuda 安装cudnn 安装tensorflow 遇到的问题 Q：tensorflow/stream_executor/cuda/cuda_driver.cc:318] failed call to cuInit: CUDA_ERROR_UNKNOWN: unknown error ...
Linux Tensorflow2.0安装
weixin_33757609的博客
05-05 3238
安装Tensorflow2.0 conda update conda pip install tf-nightly-gpu-2.0-preview conda install https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/cudnn-7.3.1-cuda10.0_0.tar.bz2 conda install ht...
升级到tensorflow2.0，我整个人都不好了
zero的博客
10-11 8675
点击上方“AI算法与图像处理”，选择加"星标"或“置顶”重磅干货，第一时间送达推荐文章【点击下面可直接跳转】：2020 年校招，最值得加入的互联网公司有哪些？来源：op...
『TensorFlow』数据读取类_data.Dataset
weixin_34167819的博客
03-14 401
一、资料 参考原文： TensorFlow全新的数据读取方式：Dataset API入门教程 API接口简介： TensorFlow的数据集   二、背景 注意，在TensorFlow 1.3中，Dataset API是放在contrib包中的： tf.contrib.data.Dataset 而在TensorFlow 1.4中，Dataset API已经从contrib...
tensorflow 2.0 （一）数据加载
小白tree的博客
06-03 3272
对于一些小型常用的数据集，TensorFlow有相关的API可以调用——keras.datasets 其中有以下经典数据集 1.boston housing         波士顿房价 2.mnist/fasion mnist     手写数字集/时髦品集 3.cifar10/...
跟我一起写makefile.pdf
11-19
5积分即可下载，为你为我为大家

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值