数据处理
tf.data
- 负责数据管理,支持多种数据来源:本地文件、分布式文件系统(数据集很大,HDFS, NFS)、对象存储系统(更大的数据集,S3, OBS, OSS等);
- 支持多种数据格式:图像文件、文本文件、CSV文件,NumPy数组,Python生成器,TFRecord等;
- 支持多种数据处理:图像解码,Shuffle, py_function, 重采样
tf.keras:
- 相对于原生keras,有分布式和高性能的优势
- 在TensorFlow中也能写keras,构建和训练模型的高层次API
- API完全兼容原生keras
- 支持保存和加载TensorFlow SavedModel
- 支持Eager Execution底层动态图引擎,动态debug,开发AI模型。比如pytorch有动态图的特性,tf.keras集成了这一点
tf.distribute:
- 很少代码实现分布式;
- 内置6种不同策略
SavedModel:
- 模型序列化、将模型储存到硬盘中;
- 用protobuff方式进行序列化,提升模型性能,减少模型大小。