BUG- 使用TFRecord 加载数据,程序运行tf.train.shuffle_batch() 报错

这里就不详细讨论TFRecord的作用,以及如何使用,具体的使用方法,请参考文献【1】。

Error:

OutOfRangeError (see above for traceback): RandomShuffleQueue '_4_shuffle_batch/random_shuffle_queue' is closed and has insufficient elements (requested 5, current size 0)
     [[Node: shuffle_batch = QueueDequeueManyV2[component_types=[DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT], timeout_ms=-1, _device="/job:localhost/replica:0/task:0/device:CPU:0"](shuffle_batch/random_shuffle_queue, shuffle_batch/n)]]
 

原因:

根据【1】,在数据转成TFRecord之前,数据类型是np.uint8格式;在加载TFRecord格式的数据,并使用tf.decode_raw从中提取数据的时候,数据类型设置为tf.float32;数据类型前后不一致导致的。

参考文献:

【1】https://zhuanlan.zhihu.com/p/53917588

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
假设我们有一个包含100个样本的数据集,每个样本有两个特征,一个是图像数据,一个是标签。我们希望使用TensorFlow的队列机制异步读取这些数据,并进行训练。 首先,我们可以使用tf.train.slice_input_producer函数将数据集切分成若干个batch,然后每个batch通过多个线程异步读取数据: ```python import tensorflow as tf # 构造数据集 data = [] for i in range(100): image = ... # 图像数据 label = ... # 标签数据 data.append((image, label)) # 定义batch大小和线程数 batch_size = 32 num_threads = 4 # 使用slice_input_producer函数将数据集切分成若干个batch image_batch, label_batch = tf.train.slice_input_producer(data, batch_size=batch_size, num_threads=num_threads) # 定义数据预处理函数 def preprocess(image, label): # 对图像数据进行预处理 image = ... # 对标签数据进行预处理 label = ... return image, label # 使用map函数将数据预处理函数应用到每个batch中的每个样本 image_batch, label_batch = tf.map_fn(preprocess, (image_batch, label_batch)) # 定义模型 ... # 定义损失函数 ... # 定义优化器 ... # 定义训练操作 train_op = ... # 启动会话 with tf.Session() as sess: # 初始化变量 sess.run(tf.global_variables_initializer()) # 启动多线程读取数据 coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) # 训练模型 for i in range(num_steps): _, loss_val = sess.run([train_op, loss]) # 关闭多线程 coord.request_stop() coord.join(threads) ``` 在上面的代码中,我们首先定义了一个包含100个样本的数据集。然后,使用tf.train.slice_input_producer函数将数据集切分成若干个batch,并通过多个线程异步读取数据。接着,我们定义了一个数据预处理函数,并使用tf.map_fn函数将其应用到每个batch中的每个样本。最后,我们定义了模型、损失函数和优化器,并使用tf.Session启动会话进行训练。在训练过程中,我们启动多线程读取数据,并在训练完成后关闭多线程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值