【TensorFlow】数据处理（输入文件队列）

项目已上传至 GitHub —— file-queue

生成样例数据

---

先生成 TFRecord 格式的样例数据，Example 的结构如下，表示第1个文件中的第1个数据

{
    'i':0,
    'j':0
}

生成数据的代码如下（以下代码都实现自《TensorFlow：实战Google深度学习框架》）

import tensorflow as tf


# 创建TFRecord文件的帮助函数
def _int64_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))


# 模拟海量数据情况下将数据写入不同的文件
num_shards = 2  # 总共写入多少个文件
instances_per_shard = 2  # 每个文件有多少数据

for i in range(num_shards):
    # 按0000n-of-0000m的后缀区分文件。n代表当前文件编号，m代表文件总数
    filename = ('data/data.tfrecords-%.5d-of-%.5d' % (i, num_shards))
    writer = tf.python_io.TFRecordWriter(filename)

    # 将数据封装成Example结构并写入TFRecord文件
    for j