tensorflow queue 多线程的使用

1. Queue 是 tf 中的队列， 通过  QueueRunner 进行控制，创建子线程，进行enqueue 和 dequeue 的操作。

最为简单而直接的创建和显式管理队列的方式， 用到 qr.create_threads()

queue = tf.FIFOQueue(capacity,  dtypes,  shapes=None)  创建队列
enqueue_op = q.enqueue_many([numpy_data])
qr = tf.train.QueueRunner(queue, [enqueue]*4)  QUEUE_RUNNER 是队列的管理器，同时考虑多子线程
coord = tf.train.Coordinator() 多线程的协调管理
enqueue_threads = qr.create_threads(sess=sess, coord=coord, start=True)
dequeue_data = q.dequeue()
for step in range(10):
    if coord.request_stop():
        break
    data_np = sess.run([dequeue_data])
coord.request_stop()
coord.join(enqueue_threads)

2. Queue 采用 隐式的方式启动 QueueRunner 里的子线程， 使用全局的  start_queue_runners  (转自某篇博客)

在一些函数中，如 tf.train.string_input_produecer 会将一个隐含的 QueueRunner 添加到全局图中（类似的操作还有f.train.shuffle_batch等）。

filename_queue = tf.train.string_input_producer(['data1.csv', 'data2.csv'])
reader = tf.TextLineReader(skip_header_lines=1)
key, value = read.read(filename_queue)
with tf.Session() as sess:
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)
    for _ in range(10):
        features, labels = sess.run([data_batch, label_batch])
    coord.request_stop()
    coord.join(threads)

    #another example for my own project
    image, ih, iw, num_boxes, gt_boxes = read_tfrecords(tfrecords_filename)
    with tf.Session() as sess:
        # initialize global & local variables
        init_op = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer())
        sess.run(init_op)
        coord = tf.train.Coordinator()
        qr_collection = tf.get_collection(tf.GraphKeys.QUEUE_RUNNERS)
        threads = []
        for qr in qr_collection:
            # explicitly create threads using QueueRunners
            threads.extend(qr.create_threads(sess,coord=coord, daemon=True,start=True))

        # implicitly start QueueRunners
        # threads = tf.train.start_queue_runners(coord=coord)
        for i in range(100):
            im, ih_np, iw_np, num_boxes_np, gt_boxes_np = \
                sess.run([image, ih, iw, num_boxes, gt_boxes])
            print('height:{}  width:{} num_boxes:{}'.format(ih_np, iw_np, num_boxes_np))
        coord.request_stop()
        coord.join(threads)