TensorFlow中的TFrecord

    TFrecord数据文件是一种将图像数据和标签统一存储的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储等。tfrecord文件包含了tf.train.Example的协议缓冲区(protocol buffer，协议缓冲区包含了特征 Features)。你可以写一段代码获取你的数据， 将数据填入到tf.train.Example的协议缓冲区(protocol buffer)，将协议缓冲区序列化为一个字符串tf.train.Example.SerializeToString()， 并且通过tf.python_io.TFRecordWriter类写入到TFRecords文件中。tf.train.Example的定义如下：

message Example {
 Features features = 1;
};
 
message Features{
 map<string,Feature> featrue = 1;
};
 
message Feature{
    oneof kind{
        BytesList bytes_list = 1;
        FloatList float_list = 2;
        Int64List int64_list = 3;
    }
};

    从上述代码可以看出，tf.train.Example中包含了属性名称到取值的字典，其中属性名称为字符串string，属性的取值可以为字符串（BytesList）、实数列表（FloatList）或者整数列表（Int64List）。

保存数据：

    首先需要给定tfrecord文件名称，并创建一个文件，之后就可以创建一个循环来依次写入数据。值得注意的是赋值给example的数据格式，从前面tf.train.Example的定义可知，tfrecord支持整型、浮点数和二进制（即字符串）三种格式。对于图片等数组形式（array）的数据，可以保存为numpy array的格式，转换为string，然后保存到二进制格式的feature中。对于单个的数值（scalar），可以直接赋值。这里value=[×]的[]非常重要，也就是说输入的必须是列表（list）。当然，对于输入数据是向量形式的，可以根据数据类型（float还是int）分别保存。并且在保存的时候还可以指定数据的维数。

读取数据：

   从TFRecords文件中读取数据， 首先需要用tf.train.string_input_producer()生成一个解析队列。之后调用tf.TFRecordReader.read()方法首先读取解析队列，返回serialized_example对象，之后调用tf.parse_single_example()操作将Example协议缓冲区(protocol buffer)解析为张量。然后调用 tf.decode_raw()解码，将二进制转为整形，然后改变形状即可得到像素矩阵。

保存和读取TFrecord文件的完整代码如下：

#coding=utf-8
import tensorflow as tf
import numpy as np
import os 
from PIL import Image
 
def test():

    # 创建tfrecord文件
    train_filename = "train.tfrecords"
    if os.path.exists(train_filename):
        os.remove(train_filename)
 
 	# 创建.tfrecord文件，准备写入
    writer = tf.python_io.TFRecordWriter('./'+train_filename)  	
    for i in range(10):
        img_raw = Image.open("D:/test/"+str(i)+".jpg")
        img_raw = img_raw.resize((300, 300)) 
        img_raw = img_raw.tobytes()       # 转换为字符串   
        example = tf.train.Example(features=tf.train.Features(
                feature={
                'label': tf.train.Feature(int64_list = tf.train.Int64List(value=[i])),     
                'img_raw':tf.train.Feature(bytes_list = tf.train.BytesList(value=[img_raw]))
                }))
        writer.write(example.SerializeToString())  # 序列化保存
    writer.close()
    print ("保存tfrecord文件成功。")

    # 读取TFrecord文件
    tfrecords_filename = "train.tfrecords"    
    filename_queue = tf.train.string_input_producer([tfrecords_filename],) #读入流中
    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)   #返回文件名和文件
    features = tf.parse_single_example(serialized_example,
                                       features={'label': tf.FixedLenFeature([], tf.int64),
                                                'img_raw' : tf.FixedLenFeature([], tf.string),
                                       }) 
    # 这里读出来的image的shape为(270000,),类型为numpy.ndarray
    image = tf.decode_raw(features['img_raw'],tf.uint8)
    # 需要把一维数组转为图片格式的三维数组
    image = tf.reshape(image, [300,300,3])

    label = tf.cast(features['label'], tf.int64)
    with tf.Session() as sess: #开始一个会话
        init_op = tf.global_variables_initializer()
        sess.run(init_op)

        coord=tf.train.Coordinator()                        # 创建一个协调器，管理线程
        threads= tf.train.start_queue_runners(coord=coord)  # 启动QueueRunner, 此时文件名队列已经进队。
        for i in range(9):
            example, l = sess.run([image,label])            # 在会话中取出image和label   
            print (example.shape,type(example))             # 这里的example为numpy类型
            img=Image.fromarray(example, 'RGB')             # 这里将narray转为Image类，Image转narray：a=np.array(img)
            img.save('./'+str(i)+'_''Label_'+str(l)+'.jpg') # 保存图片
            
        coord.request_stop()
        coord.join(threads)


if __name__ == '__main__':
    test()

注意：

        coord=tf.train.Coordinator()  #创建一个协调器，管理线程
        threads= tf.train.start_queue_runners(coord=coord)  #启动QueueRunner, 此时文件名队列已经进队。

  这两句非常重要，这两句实现的功能就是创建线程并使用QueueRunner对象来提取数据。简单来说：使用tf.train函数添加QueueRunner到tensorflow中。在运行任何训练步骤之前，需要调用tf.train.start_queue_runners函数，否则tensorflow将一直挂起。参考这里。tf.train.start_queue_runners 这个函数将会启动输入管道的线程，填充样本到队列中，以便出队操作可以从队列中拿到样本。这种情况下最好配合使用一个tf.train.Coordinator，这样可以在发生错误的情况下正确地关闭这些线程。如果你对训练迭代数做了限制，那么需要使用一个训练迭代数计数器，并且需要被初始化。

    在tf.train中要创建这些队列和执行入队操作，就要添加QueueRunner到一个使用tf.train.add_queue_runner函数的数据流图中。每个QueueRunner负责一个阶段，处理那些需要在线程中运行的入队操作的列表。一旦数据流图构造成功，tf.train.start_queue_runners函数就会要求数据流图中每个QueueRunner去开始它的线程运行入队操作。
在执行训练的时候，队列会被后台的线程填充好。如果设置了最大训练迭代数（epoch），在某些时候，样本出队的操作可能会抛出一个tf.OutOfRangeError的错误。这是因为tensorflow的队列已经到达了最大实际的最大迭代数，没有更多可用的样本了。这也是为何推荐代码模板需要用try..except ..finally结构来处理这种错误。

   上面代码读取的是单个的image和label，而在tensorflow训练时，一般是采取batch的方式去读入数据。tensorflow提供了两种方式，一种是shuffle_batch（tf.train.shuffle_batch），这种主要是用在训练中，随机选取样本组成batch。另外一种就是按照数据在tfrecord中的先后顺序生成batch（tf.train.batch，在Pix2Pix中采用这种方式）。这里采用tf.train.shuffle_batch方式：

image_batch, label_batch = tf.train.shuffle_batch(
      [image, label],
      batch_size=3,
      num_threads=4,
      capacity=10,
      min_after_dequeue=10)

参考：https://blog.csdn.net/happyhorizion/article/details/77894055

          https://blog.csdn.net/qq_39037910/article/details/72900308