MachineLP的Github(欢迎follow):https://github.com/MachineLP
MachineLP的博客目录:小鹏的博客目录
TF在训练的时候有好多方式,可以用转为TF的tfRecords;也可以通过数组读进内存的方式(数据量小或者内存总够大);或者数据量大时在每个batch的时候处理数据,这样会加大交互的时间,减少gpu的利用率;那么今天介绍一种借助TF的API使用pipeline通过队列方式读取数据的方式:
先认识两个API:
ops.convert_to_tensor() : 将不是张量的数据转为张量。
tf.dynamic_partition():用于拆分熟组,可以看下图。