Tensorflow数据读取机制及tfrecords高效读取数据

最新推荐文章于 2024-08-25 18:49:06 发布

沈子恒

最新推荐文章于 2024-08-25 18:49:06 发布

阅读量6.5k

点赞数 11

分类专栏：神经网络|深度学习|matlab 计算机视觉的数学基础

本文链接：https://blog.csdn.net/shenziheng1/article/details/84960746

版权

本文介绍了Tensorflow的数据读取机制，强调了使用文件名队列和内存队列来解决IO效率问题。重点讲解了TFRecords格式的优势，如二进制存储加速读取，特别适合大数据集。并解释了如何使用tf.train.string_input_producer和tf.parse_single_example进行TFRecords数据的读取。最后，总结了使用TFRecords读取数据的三个关键点：队列管理、图初始化和TFRecordReader操作。

摘要由CSDN通过智能技术生成

1. tensorflow 的数据读取机制

以图像数据为例，数据读取过程如下所示：

假设我们的硬盘中有一个图片数据集0001.jpg，0002.jpg，0003.jpg……我们只需要把它们读取到内存中，然后提供给GPU或是CPU进行计算就可以了。这听起来很容易，但事实远没有那么简单。事实上，我们必须要把数据先读入后才能进行计算，假设读入用时0.1s，计算用时0.9s，那么就意味着每过1s，GPU都会有0.1s无事可做，这就大大降低了运算的效率。

如何解决这个问题？方法就是将读入数据和计算分别放在两个线程中，将数据读入内存的一个队列，如下图所示：

读取线程源源不断地将文件系统中的图片读入到内存队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队列中取就可以了。这样就可以解决GPU因为IO而空闲的问题！

而在tensorflow中，为了方便管理，在内存队列前又添加了一层所谓的“文件名队列”。

为什么要添加这一层文件名队列？首先得了解机器学习中的一个概念：epoch。对于一个数据集来讲，运行一个epoch就是将这个数据集中的图片全部计算一遍。如一个数据集中有三张图片A.jpg、B.jpg、C.jpg，那么跑一个epoch就是指对A、B、C三张图片都计算了一遍。两个epoch就是指先对A、B、C各计算一遍，然后再全部计算一遍，也就是说每张图片都计算了两遍。

tensorflow使用文件名队列+内存队列双队列的形式读入文件，可以很好地管理epoch。下面用图片的形式来说明这个机制的运行方式。还是以数据集A.jpg, B.jpg, C.jpg为例，假定我们要跑一个epoch，那么就在文件名队列中把A、B、C各放入一次，并在之后标注队列结束，如下图。