从文件列表中读取单个样例已在上一篇博文中提到,这次是将单个样本组合成一个batch。
单一文件多线程,选用tf.train.batch(打乱样本有对应的tf.train.shuffle_batch);对于多线程多文件,一般选用tf.train.batch_join(打乱样本同样也有对应的tf.train.shuffle_batch_join)
示例代码(来源于Tensorflow实战谷歌深度学习框架)如下:
import tensorflow as tf
files = tf.train.match_filenames_once("/home/cvx/Downloads/Data/data.tfrecords-*")
filename_queue = tf.train.string_input_producer(files, shuffle=False)
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
features = tf.parse_single_example(serialized_example, features={
'i': tf.FixedLenFeature([], tf.int64),
'j': tf.FixedLenFeature([], tf.int64),
})
example, label = features['i'], features['j']
# 一个batch中样例的大小
batch_size = 3
# 组合样例中的队列大小如果太大,则需要占用较多的内存资源,如果太小,
# 那么出队操作可能会因为没有数据而被阻塞,从而导致训练效率降低。
capacity = 1000 + 3*batch_size
# 使用tf.train.batch函数来组合样例。
# 参数有:tensors入队队列,预处理后的数据和对应的标签。
# batch_size:batch的大小
# capacity:队列的最大容量
# num_threads:启动多少个线程读取文件和预处理。
# allow_smaller_final_batch:如果设置True,则会允许最后一个Batch的大小比较小,当没有足够的数据输入时。
example_batch, label_batch = tf.train.batch([example, label], batch_size=batch_size,capacity=capacity, num_threads=5)
with tf.Session() as sess:
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()
coord = tf.train.Coordinator()
# 启动所有线程
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
for i in range(2):
cur_example_batch, cur_label_batch = sess.run([example_batch, label_batch])
print(cur_example_batch, cur_label_batch)
coord.request_stop()
coord.join(threads)
tf.train.shuffle_batch 需要提供min_after_dequeue参数。