tfrecord文件格式、读取、写入介绍

1、tfrecord文件格式介绍

       tfrecord文件格式，是深度学习框架tensorflow专用的一种文件格式，其底层使用protobuf，TensorFlow(python)也提供了api用于读取和写入tfrecord，非常方便，而对于golang语言，目前没有成熟的包可以使用，调研过一个nivida的开源库，这个库已经三四年没有更新，在读取tfrecord上存在问题，所以go语言，至今没有找到合适的包可以操作tfrecord。

       一个tfrecord文件是有多个example组成，一个example是有多个key-value对构成的结构：

2、tfrecord文件操作

测试环境：

python：3.8

TensorFlow：2.13

系统：Ubuntu2004

2.1 生成tfrecord

#!/usr/bin/python3.10
import tensorflow as tf
import numpy as np

def _bytes_feature(value):
  if isinstance(value, type(tf.constant(0))):
    value = value.numpy() 
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _float_feature(value):
  return tf.train.Feature(float_list=tf.train.FloatList(value=[value]))

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
  
def _int64_list_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
    
def _bytes_list_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value.astype(np.float32).tobytes()]))

def serialize_example(f0, f1, f2, f3, f4):
  features = {
      'a': _int64_feature(f0),
      'b': _int64_list_feature(f1),
      'c': _bytes_feature(f2),
      'd': _float_feature(f3),
      'e': _bytes_list_feature(f4)
  }
  example_proto = tf.train.Example(features=tf.train.Features(feature=features))
  return example_proto.SerializeToString()

def main():
    filename = 'tf.tfrecord'
    with tf.io.TFRecordWriter(filename) as writer:
        for i in range(10):
            example = serialize_example(1, [1, 1, 9], b'tfrecord', 1.4, np.array([1, 2, 3]))
            writer.write(example)

if __name__ == '__main__':
    main()

上面代码共写了10个example到文件里，运行上面 代码之前，需要安装tensorflow：

TensorFlow安装完成后，运行上面python代码：

执行完成后，生成tf.tfrecord文件，下面我们会尝试读取一下生成的这个文件。

2.2 读取tfrecord

上面2.1生成了一个tfrecord文件，我们就来读取这个文件，首先这个tfrecord一共包含10个example，每个example包含5个key，可以对照第一章节的图示进行理解，读取代码如下：

#!/usr/bin/python3.10
import tensorflow as tf
import numpy as np

feature_desc = {
    'a': tf.io.FixedLenFeature((), tf.int64, default_value=0),
    'b': tf.io.FixedLenFeature((3), tf.int64, default_value=[-1, -1, -1]),
    'c': tf.io.FixedLenFeature((), tf.string, default_value=''),
    'd': tf.io.FixedLenFeature((), tf.float32, default_value=0.0),
    'e': tf.io.FixedLenFeature((), tf.string)
}

def main():
    filename = '/root/python/tfrecord/tf.tfrecord'
    examples = tf.data.TFRecordDataset(filename)
    for example in examples:
        feature = tf.io.parse_single_example(example, feature_desc)
        print('a=', feature['a'].numpy())
        print('b=', feature['b'].numpy())
        print('c=', feature['c'].numpy().decode('utf-8'))
        print('d=', feature['d'].numpy())
        print('e=', tf.io.decode_raw(feature['e'], tf.float32))

if __name__ == '__main__':
    main()

代码运行结果：

3、获取tfrecord文件特征属性

当某些时候，我们不知道tfrecord的特征属性时，也就是不知道文件里的feature格式时，我们可以用下面的方法将feature的key值、value等信息打印出来：

#!/usr/bin/python3.10
import tensorflow as tf
import numpy as np

def getTFRecordFormat(files):  
    # 加载TFRecord数据  
    ds = tf.data.TFRecordDataset(files)  
    ds = ds.batch(1)  
    ds = ds.prefetch(buffer_size=tf.data.AUTOTUNE)  
    for batch_data in ds.take(1):  
        for serialized_example in batch_data:  
            example_proto = tf.train.Example.FromString(serialized_example.numpy())  
            for key, feature in example_proto.features.feature.items():  
                ftype = None  
                fvalue = None  
  
                if feature.HasField('bytes_list'):  
                    ftype = 'bytes_list'  
                    fvalue = (feature.bytes_list.value)  
                elif feature.HasField('float_list'):  
                    ftype = 'float_list'  
                    fvalue = (feature.float_list.value)  
                elif feature.HasField('int64_list'):  
                    ftype = 'int64_list'  
                    fvalue = (feature.int64_list.value)  
  
                if ftype:  
                    result = '{0} : {1} {2}'.format(key, ftype, fvalue)  
                    print(result)  
  
  
def main():
    filename = '/root/python/tfrecord/tf.tfrecord'
    getTFRecordFormat(filename)
if __name__ == '__main__':
    main()

代码运行记录：

4、为什么使用tfrecord

     TFRecord文件格式在机器学习和深度学习应用中具有多个优势，这也是为什么它被广泛采用的原因。以下是TFRecord文件格式的主要优点：

• 高效的数据存储与读取：TFRecord使用二进制格式来存储数据，相比于文本格式（如CSV或JSON），它更加紧凑，因此可以节省存储空间。此外，二进制格式的数据读取速度也更快，这对于大规模数据集的训练和推理过程尤为重要。
• 多样化的数据类型支持：TFRecord可以支持多种数据类型，包括整数、浮点数、字符串等，这使得它非常适合存储各种类型的训练数据。无论是图像、文本还是其他类型的数据，都可以方便地存储为TFRecord格式。
• 方便的数据预处理：通过将数据转换为TFRecord格式，可以方便地进行数据预处理操作，如数据增强、归一化等。这些操作可以在数据加载阶段进行，从而避免了在训练过程中重复进行预处理，提高了训练效率。
• 易于扩展与并行处理：TFRecord文件可以轻松地扩展以适应更大的数据集。此外，由于其紧凑的二进制格式和高效的数据读取机制，TFRecord文件也支持并行处理，可以充分利用多核CPU或GPU的并行计算能力。
• 跨平台兼容性：TFRecord文件使用Protocol Buffers进行编码，这是一种跨平台的序列化结构数据格式。因此，TFRecord文件可以在不同的操作系统和编程环境中使用，具有良好的兼容性。

综上所述，TFRecord文件格式在机器学习和深度学习中具有高效、灵活、易于扩展和跨平台兼容等优点，使得它成为处理大规模数据集的首选格式之一。