TensorFlow之tf.train.slice_input_producer读取数据到队列

 

tf.train.slice_input_producer被定义于tensorflow/python/training/input.py，用于定义读取数据到队列中的方式。

1、tf.train.slice_input_producer和tf.train.string_input_producer的区别

注意tf.train.slice_input_producer和tf.train.string_input_producer函数的区别：

tf.train.string_input_producer只能输入张量的列表，而tf.train.slice_input_producer可以将image_list，label_list等多个list组合成一个tensor_list作为输入。如下：

    image_dir ='path/to/image_dir/*.jpg'
    image_list = glob.glob(image_dir)
    label_list=...
    image_list = tf.convert_to_tensor(image_list, dtype=tf.string)
    # 可以将image_list,label_list多个list组合成一个tensor_list
    image_que, label_que = tf.train.slice_input_producer([image_list,label_list], num_epochs=1)
    # 只能是string_tensor，所以不能组合多个list
    image = tf.train.string_input_producer(image_list, num_epochs=1)

 

2、tf.train.slice_input_producer的源码

tf.train.slice_input_producer(
    tensor_list,
    num_epochs=None,
    shuffle=True,
    seed=None,
    capacity=32,
    shared_name=None,
    name=None
)

tensor_list：张量对象的列表。张量表中的每个张量在第一维中必须具有相同的大小。

num_epochs：训练ephochs的数量

shuffle：是否随机打乱数据

seed：随机数种子

capacity：设置队列的最大容量

shared_name：如过设置，则此队列将在多个会话之间以给定的名称共享

name：操作的名称

返回：张量的列表，张量列表中的每一个元素都是一个张量。如果张量列表中的张量具有形状[n，a，b，…，z]，则相应的输出张量将具有形状[a，b，…，z]。

 

注意：tf.train.slice_input_producer只是定义了样本放入文件名队列的方式，包括迭代次数，是否乱序等，要真正将文件放入文件名队列，还需要调用tf.train.start_queue_runners 函数来启动执行文件名队列填充的线程，之后计算单元才可以把数据读出来，否则文件名队列为空的，计算单元就会处于一直等待状态，导致系统阻塞。

 

3、具体例子：

import tensorflow as tf
 
images = ['img1', 'img2', 'img3', 'img4', 'img5']
labels= [1,2,3,4,5]
 
epoch_num=8
 
f = tf.train.slice_input_producer([images, labels],num_epochs=None,shuffle=False)
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    for i in range(epoch_num):
        k = sess.run(f)
        print '************************'
        print (i,k)
 
    coord.request_stop()
    coord.join(threads)

输出：

************************
(0, ['img1', 1])
************************
(1, ['img2', 2])
************************
(2, ['img3', 3])
************************
(3, ['img4', 4])
************************
(4, ['img5', 5])
************************
(5, ['img1', 1])
************************
(6, ['img2', 2])
************************
(7, ['img3', 3])

 

参考：

https://blog.csdn.net/guyuealian/article/details/85106012

https://blog.csdn.net/dcrmg/article/details/79776876