大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳,不仅形成深入且独到的理解,而且能够帮助新手快速入门。
本文主要介绍了Tensorflow 2.x(keras)源码详解之第四章:Dataset&TFRecord,希望能对学习TensorFlow 2的同学有所帮助。
文章目录
1. 前言:data input pipelines(Dataset)
在深度学习中,输入模型的数据,一般需要划分成多个batch,且划分前还需要进行shuffle等处理。前述操作可以自行编写代码实现,当然tf也给我们提供了高级API实现这些功能。本章主要介绍tf.data相关的API,数据集最终存储为Dataset对象。
2. 构造Dataset及简介
2.1 tf.data.Dataset.from_tensor_slices
- 使用
tf.data.Dataset.from_tensor_slices
从data in memory创造一个Dataset,并切片(如下例,会将x切分成6片,因为x有6个数,可使用for循环遍历)