一起来用tf.data API!
Friedrich Yuan
The heart of machine.
展开
-
一起来用tf.data API!(1)——基本机制
一起来用tf.data API!(1)——基本机制(一)前 言(二)API结构(三)数据集结构(四)总 结(一)前 言当我们使用TensorFlow创建了数据流图之后,下一步就要开始训练我们的模型,我们知道数据流图只是一个空壳,只有让数据流入,才能进行对应模型的训练,也就是要让“水”成功地流进“水管”,而这个过程并非如此简单,常常困扰着开发者们,为了解决这一问题,TensorFlow...原创 2018-11-10 21:51:07 · 889 阅读 · 0 评论 -
一起来用tf.data API!(2)——创建迭代器读取数据
一起来用tf.data API!(2)——创建迭代器读取数据(一)前 言(二)单次迭代器(三)可初始化迭代器(四)可重新初始化迭代器(五)可馈送迭代器(六)消耗迭代器中的值(七)保存迭代器的状态(八)总 结(一)前 言在第一节中我们介绍了tf.data API的组件结构,我们使用Database方法来创建数据集,然后使用Iterator来读取数据集中的元素,本节我们就来介绍如何用Iter...原创 2018-11-10 21:51:15 · 2079 阅读 · 0 评论 -
一起来用tf.data API!(6)——批处理数据集元素
一起来用tf.data API!(6)——批处理数据集元素(一)前 言(二)简单的批处理(1)创建Dataset(2)实现批处理(三)使用填充批处理张量(四)总 结(一)前 言在上一节中我们介绍了如何使用tf.data API读取TFRecords文件,在这一节中我们将介绍如何对数据集元素进行批处理。(二)简单的批处理(1)创建Dataset以range函数为例:import...原创 2018-11-13 12:54:56 · 891 阅读 · 0 评论 -
一起来用tf.data API!(7)——训练工作流程
一起来用tf.data API!(7)——训练工作流程(一)前 言(二)处理多个周期(1)创建Dataset(2)重复周期(三)随机重排输入数据(四)总 结(一)前 言在上一节中我们介绍了如何使用tf.data API批处理数据集元素,在这一节中我们将介绍如何对数据集元素进行多个周期的处理,以及对数据集元素进行打乱重排。(二)处理多个周期(1)创建Dataset以range函数...原创 2018-11-13 12:54:49 · 870 阅读 · 0 评论 -
一起来用tf.data API!(3)——TFRecords是什么?
一起来用tf.data API!(3)——TFRecords是什么?(一)简 介(二)TFRecords可接受的数据格式(三)生成TFRecords的基本流程(四)总 结(一)简 介TFRecords是TensorFlow专用的数据文件格式,其中包含了tf.train.Example协议内存块(protocol buffer),这是只包含特征值与数据内容的一种数据格式。通过tf.pyth...原创 2018-11-12 20:27:57 · 879 阅读 · 0 评论 -
一起来用tf.data API!(4)——使用图像数据制作TFRecords文件
一起来用tf.data API!(4)——使用图像数据制作TFRecords文件(一)前 言(二)图片收集归类(三)TFRecords文件生成(四)总 结(一)前 言在上一节中我们对TFRecords做了简要的介绍,这一节我们来演示如何使用图像数据制作TFRecords。本次我们制作一个含有浣熊、大熊猫两类动物的数据集。(二)图片收集归类收集若干浣熊、大熊猫的图片,如下图所示:...原创 2018-11-12 20:27:53 · 1879 阅读 · 1 评论 -
一起来用tf.data API!(5)——使用tf.data API读取TFRecords文件
一起来用tf.data API!(5)——使用tf.data API读取TFRecords文件(一)前 言(二)使用tf.data API读取文件(1)定义数据预处理操作(2)创建dataset(3)创建迭代器(4)定义会话取出数据(5)完整代码(三)总 结(一)前 言在上一节中,我们成功将图像数据制作成了TFRecords文件,在这一节中我们要使用tf.data API将其读取出来,并...原创 2018-11-12 20:27:48 · 2417 阅读 · 13 评论