- 博客(2)
- 收藏
- 关注
RSS订阅原创 tf.data构建Pipeline的实践（踩坑）经验
最近训练数据大增，无法全部加载到内存中，组内决定改用tf.data搭建pipeline。经过测试，tfdata+tfrecord方式效率很高，与数据一次性加载到内存性能差不多。构建过程还是有几个坑的，这里以构造TFRecord的数据流为例，简单整理。tf.data构建pipeline大致方式A.创建tfrecord数据a.原始日志数据解析b.针对行数据，构建数据模板（Example - Feature）c.逐行转换，并序列化写入文件B.训练过程a.指定tfrecord文件b.定义解析方法，
2020-06-22 23:03:53
595
原创 Sklearn Tips
关于StandardScaler作用：去均值和方差归一化。Tips：是针对特征维度来做的，不是针对样本，即对列处理而非行处理。
2020-04-08 22:50:29
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人