一起来用tf.data API！（1）——基本机制

一起来用tf.data API！（1）——基本机制

（一）前 言
（二）API结构
（三）数据集结构
（四）总 结

(一）前 言

当我们使用TensorFlow创建了数据流图之后，下一步就要开始训练我们的模型，我们知道数据流图只是一个空壳，只有让数据流入，才能进行对应模型的训练，也就是要让“水”成功地流进“水管”，而这个过程并非如此简单，常常困扰着开发者们，为了解决这一问题，TensorFlow创造了tf.data API，通过 tf.data API，我们可以根据简单的可重用片段构建复杂的输入管道。例如，图片模型的管道可能会汇聚分布式文件系统中的文件中的数据、对每个图片应用随机扰动，并将随机选择的图片合并成用于训练的批次。文本模型的管道可能包括从原始文本数据中提取符号、根据对照表将其转换为嵌入标识符，以及将不同长度的序列组合成批次数据。使用 tf.data API 可以轻松处理大量数据、不同的数据格式以及复杂的转换。本系列不仅仅是介绍tf.data API的机制，还会介绍TFRecords的格式、如何制作，然后使用tf.data API读取相应的文件，一切从实践出发。

（二）API结构

tf.data API 在 TensorFlow 中引入了两个新的抽象类：

（三）数据集结构

一个数据集包含多个元素，每个元素的结构都相同。一个元素包含一个或多个张量对象，这些对象称为组件。每一个组件的结构如下：
我们可以通过Dataset.output_types 和 Dataset.output_shapes 属性检查数据集元素各个组件的推理类型和形状。我们通过以下代码来认识这一过程：
Dataset 转换支持任何结构的数据集。在使用 Dataset.map()、Dataset.flat_map() 和 Dataset.filter() 转换时（这些转换会对每个元素应用一个函数），元素结构决定了函数的参数：
例如，我们把原有的数据变成原来的三倍：

（四）总 结

在本节中，我们介绍了tf.data API的作用、结构以及数据集的结构，下一节，我们将开始介绍如何创建iterator来读取数据集中的元素，有任何疑问请在评论区留言，我会尽快回复，谢谢支持！