tfrecord
tfrecord是Tensorflow提供并推荐使用的一种统一一种二进制文件格式,用于存储数据,理论上它可以保存任何格式的信息。
tfRecord内部使用了“Protocol Buffer”二进制数据编码方案,它只占用一个内存块,只需要一次性加载一个二进制文件的方式即可,简单,快速,尤其对大型训练数据很友好。
1、tfx的原始数据经过组件exampleGen后数据转变为tfrecord格式。
example_gen = CsvExampleGen(input=external_input(_data_root),output_config=output)
context.run(example_gen)
2、找到生成文件的位置