【Tensorflow】你可能无法回避的 TFRecord 文件格式详细讲解

如果你是 Tensorflow 的初学者，那么你或多或少在网络上别人的博客上见到过 TFRecord 的影子，但很多作者都没有很仔细地对它进行说明，这也许会让你感受到了苦恼。本文按照我自己的思路对此进行一番讲解，也许能够提供给你一些帮助。

TFRecord 是什么？

TFRecord 是谷歌推荐的一种二进制文件格式，理论上它可以保存任何格式的信息。

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data

上面是 Tensorflow 的官网给出的文档结构。整个文件由文件长度信息、长度校验码、数据、数据校验码组成。

但对于我们普通开发者而言，我们并不需要关心这些，Tensorflow 提供了丰富的 API 可以帮助我们轻松读写 TFRecord 文件。

TFRecord 的核心内容在于内部有一系列的 Example ，Example 是 protocolbuf 协议下的消息体。

在这里我相信大家都对 protocolbuf 比较了解，如果不了解也没有关系，它本质上和 xml 及 json 没有多大的区别。

网上有很多 example 的简单说明。

message Example {
  Features features = 1;
};

message Features {
  // Map from feature name to feature.
  map<string, Feature> feature = 1;
};

message Feature {
  // Each feature can be exactly one kind.
  oneof kind {
    BytesList bytes_list = 1;
    FloatList float_list = 2;
    Int64List int64_list = 3;
  }
};

message BytesList {
  repeated bytes value = 1;
}
message FloatList {
  repeated float value = 1 [packed = true];
}
message Int64List {
  repeated int64 value = 1 [packed = true];
}

熟悉 protobuf 同学看到这个格式定义就能马上明白了，不熟悉的同学可以点击相关的文章，我之前的这篇有对 protocolbuf 作过详细解释。

一个 Example 消息体包含了一系列的 featur