Tensorflow之数据读取

最新推荐文章于 2021-03-11 20:18:45 发布

Ftwhale

最新推荐文章于 2021-03-11 20:18:45 发布

阅读量839

点赞数

文章标签： tensorflow 机器学习

本文链接：https://blog.csdn.net/Ftwhale/article/details/106179677

版权

本文介绍了TensorFlow读取数据的三种方法，重点讲解了从TFRecord和CSV文件中读取数据的细节。TFRecord是TensorFlow的统一数据存储格式，而CSV则是一种常见的文本格式。文中通过示例展示了如何将MNIST数据集转换为TFRecord文件，以及如何使用TextLineReader和decode_csv函数从CSV文件中读取数据。

摘要由CSDN通过智能技术生成

今天我们介绍全新的内容：使用Tensorflow来读取数据。Tensorflow读取数据一共三种方法：

(1) 预加载数据：这种方法适合用于数据量较小的时候，通过在程序中定义常量或者变量的方式来保存所有数据，这种方法较为简单。

(2) 供给数据(Feeding)：关于这种方法，我们在前面的会话(Session)内容中也有所提及，供给数据是通过run()函数输入feed_dict参数的方式把数据注入到placeholder后再启动程序。由于之前的内容里我们已经进行了详细介绍，所以这里就不再赘述。

(3) 从文件中读取数据：这种读取数据的方法涉及到文件格式的一些内容，比如常用的CSV格式和TFRecond格式。我们可以将任意的数据转换为TensorFlow 所支持的格式。CSV (Comma-SeparatedValues，字符分隔值）和 TFRecord 都是常用的数据集打包格式，在本节将对TFRecord和CSV进行介绍。

TRFecond格式：TensorFlow 自身提供了一种统一的格式 TFRecord 来存储数据。在本小节中将介绍如何从这种格式的文件中读取数据以及如何将数据转换为TFRecord 文件。作为一个示例，接下来我们将通过一段代码将 MNIST 数据集转换为TFRecord 文件。其过程大致就是先将数据填入到 Example 协议内存块，再将协议内存块序列化为－个字符串，并且通过python_io.TFRecordWriter 类写入到 TFRecord 文件。代码如下：
在这里插入图片描述