tf.data构建Pipeline的实践(踩坑)经验
最近训练数据大增,无法全部加载到内存中,组内决定改用tf.data搭建pipeline。经过测试,tfdata+tfrecord方式效率很高,与数据一次性加载到内存性能差不多。构建过程还是有几个坑的,这里以构造TFRecord的数据流为例,简单整理。tf.data构建pipeline大致方式A.创建tfrecord数据a.原始日志数据解析b.针对行数据,构建数据模板(Example - Feature)c.逐行转换,并序列化写入文件B.训练过程a.指定tfrecord文件b.定义解析方法,
原创
2020-06-22 23:03:53 ·
595 阅读 ·
0 评论