TensorFlow 2.3 最新版本来了!本文将由官方为你介绍更新内容,一睹为快吧!
该版本致力于提供一个新的工具来帮助您简化数据的加载与预处理,并且无论在单机或是多台机器,都能解决输入流水线的瓶颈问题。
- tf.data 新增了两种机制提高资源利用率从而解决输入流水线瓶颈。对于专业用户,新的 service API 提供了一种提高训练速度的方法。当连接到训练设备的主机无法满足模型的数据消耗需求时,该 API 让您可以将输入数据的预处理负载均衡至由 worker 组成的计算集群,在训练任务之外单独执行,以充分利用硬件加速设备。第二个新功能是 tf.data snapshot API,它可以将输入预处理流水线的输出长久储存到磁盘,从而可以在运行其他训练任务时中重复使用它。这样可以借助存储空间换得更多的 CPU 时间。
- TF Profiler 还添加了两个新工具:一个实时记录模型内存使用情况的可视化内存分析器。以及一个允许您在模型中跟踪 Python 函数调用的 Python 追踪器。您可以在下文阅读更多有关信息(如果您是 TF Profiler 新手,请务必查看此文章内容)。
- TensorFlow 2.3 实验性的添加了 对全新的 Keras Preprocessing Layers API 支持。预处理层可以将您的预处理逻辑打包到模型中,以便更轻松地部署。就是说,您可以将原始字符串、图像或表格行直接输入到模型。也有新的改善用户体验的实用程序 ,仅用几行代码即可轻松地从磁盘图像或文本文件目录创建 tf.data.Dataset。
tf.data 新功能
tf.data.service
现代加速器如