tf38：tensorflow使用pipeline通过队列方式读取数据训练

MachineLP的Github（欢迎follow）：https://github.com/MachineLP

MachineLP的博客目录：小鹏的博客目录

TF在训练的时候有好多方式，可以用转为TF的tfRecords；也可以通过数组读进内存的方式（数据量小或者内存总够大）；或者数据量大时在每个batch的时候处理数据，这样会加大交互的时间，减少gpu的利用率；那么今天介绍一种借助TF的API使用pipeline通过队列方式读取数据的方式：

先认识两个API：

ops.convert_to_tensor() : 将不是张量的数据转为张量。

tf.dynamic_partition()：用于拆分熟组，可以看下图。

熟悉了这两个API下面代码就不难理解了，可以根据自己的需要自行整理。

import tensorflow as tf