TF--组合训练数据

从文件列表中读取单个样例已在上一篇博文中提到，这次是将单个样本组合成一个batch。

单一文件多线程，选用tf.train.batch（打乱样本有对应的tf.train.shuffle_batch）；对于多线程多文件，一般选用tf.train.batch_join（打乱样本同样也有对应的tf.train.shuffle_batch_join）

示例代码（来源于Tensorflow实战谷歌深度学习框架）如下：

import tensorflow as tf

files = tf.train.match_filenames_once("/home/cvx/Downloads/Data/data.tfrecords-*")
filename_queue = tf.train.string_input_producer(files, shuffle=False)
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
features = tf.parse_single_example(serialized_example, features={
    'i': tf.FixedLenFeature([], tf.int64),
    'j': tf.FixedLenFeature([], tf.int64),
})
example, label = features['i'], features['j']

# 一个batch中样例的大小
batch_size = 3
# 组合样例中的队列大小如果太大，则需要占用较多的内存资源，如果太小，
# 那么出队操作可能会因为没有数据而被阻塞，从而导致训练效率降低。
capacity = 1000 + 3*batch_size
# 使用tf.train.batch函数来组合样例。
# 参数有:tensors入队队列，预处理后的数据和对应的标签。
# batch_size：batch的大小
# capacity：队列的最大容量
# num_threads：启动多少个线程读取文件和预处理。
# allow_smaller_final_batch：如果设置True，则会允许最后一个Batch的大小比较小，当没有足够的数据输入时。
example_batch, label_batch = tf.train.batch([example, label], batch_size=batch_size,capacity=capacity, num_threads=5)

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    tf.local_variables_initializer().run()
    coord = tf.train.Coordinator()
    # 启动所有线程
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    for i in range(2):
        cur_example_batch, cur_label_batch = sess.run([example_batch, label_batch])
        print(cur_example_batch, cur_label_batch)
    coord.request_stop()
    coord.join(threads)

tf.train.shuffle_batch 需要提供min_after_dequeue参数。