【TensorFlow】数据处理（输入数据处理框架）

项目已上传至 GitHub —— proc_fx.py

1. 数据处理流程

对于输入数据的处理，大体上流程都差不多，可以归结如下：

1. 将数据转为 TFRecord 格式的多个文件
2. 用 tf.train.match_filenames_once() 创建文件列表
3. 用 tf.train.string_input_producer() 创建输入文件队列，可以将输入文件顺序随机打乱
4. 用 tf.TFRecordReader() 读取文件中的数据
5. 用 tf.parse_single_example() 解析数据
6. 对数据进行解码及预处理
7. 用 tf.train.shuffle_batch() 将数据组合成 batch
8. 将 batch 用于训练

2. 输入数据处理框架

框架主要是三方面的内容：

• TFRecord 输入数据格式
• 图像数据处理
• 多线程输入数据处理

以下代码只是描绘了一个输入数据处理的框架，需要根据实际使用环境进行修改（代码实现自《TensorFlow：实战Google深度学习框架》）

import tensorflow as tf

# 创建文件列表
files = tf.train.match_filenames_once('data/data.tfrecords-*')

# 创建输入文件队列
filename_queue = tf.train.string_input_producer(files, shuffle=Flase)

# 解析数据。假设image是图像数据，label是标签，height、width、channels给出了图片的维度
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
features