TensorFlow高效读取数据的方法

最新推荐文章于 2024-08-25 18:49:06 发布

ycszen

最新推荐文章于 2024-08-25 18:49:06 发布

阅读量8.3w

点赞数 47

分类专栏：深度学习 tensorflow 文章标签： tensorflow 深度学习

本文链接：https://blog.csdn.net/u012759136/article/details/52232266

版权

本文介绍了在TensorFlow中如何高效读取数据，特别是对于大数据量的情况。推荐使用TFRecords文件格式，这是一种二进制文件，能更好地利用内存并方便数据处理。文章详细阐述了如何生成TFRecords文件，以及利用队列读取数据的方法，包括定义数据格式、写入数据、解析数据等步骤，并提供了一个简单的读取示例。在实际应用中，还需要注意初始化图和使用队列管理器等细节。

摘要由CSDN通过智能技术生成

概述

最新上传的mcnn中有完整的数据读写示例，可以参考。

关于Tensorflow读取数据，官网给出了三种方法：

供给数据(Feeding)：在TensorFlow程序运行的每一步，让Python代码来供给数据。
从文件读取数据：在TensorFlow图的起始，让一个输入管线从文件中读取数据。
预加载数据：在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。

对于数据量较小而言，可能一般选择直接将数据加载进内存，然后再分batch输入网络进行训练（tip:使用这种方法时，结合yield 使用更为简洁，大家自己尝试一下吧，我就不赘述了）。但是，如果数据量较大，这样的方法就不适用了，因为太耗内存，所以这时最好使用tensorflow提供的队列queue，也就是第二种方法 从文件读取数据。对于一些特定的读取，比如csv文件格式，官网有相关的描述，在这儿我介绍一种比较通用，高效的读取方法（官网介绍的少），即使用tensorflow内定标准格式——TFRecords

太长不看，直接看源码请猛戳我的github，记得加星哦。

TFRecords

TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件（等会儿就知道为什么了）… …总而言之，这样的文件格式好处多多，所以让我们用起来吧。

TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)。我们可以写一段代码获取你的数据，将数据填入到Example协议内存块(protocol buffer)，将协议内存块序列化为一个字符串，并且通过tf.python_io.TFRecordWriter 写入到TFRecords文件。

从TFRecords文件中读取数据，可以使用tf.TFRecordReader的tf.parse_single_example解析器。这个操作可以将Example协议内存块(protocol buf