【重要发布】TensorFlow 2.3 最新版本功能官方概览

TensorFlow 2.3版本引入了tf.data的新功能,包括service API以解决输入流水线瓶颈,以及snapshot API以缓存预处理数据。新增的Keras数据加载实用程序简化了图像和文本数据的加载。TF Profiler现在包含内存分析器和Python追踪器,以优化性能。此外,Keras实验性地添加了预处理层,允许在模型内部打包预处理逻辑。
摘要由CSDN通过智能技术生成

TensorFlow 2.3 最新版本来了!本文将由官方为你介绍更新内容,一睹为快吧!

该版本致力于提供一个新的工具来帮助您简化数据的加载与预处理,并且无论在单机或是多台机器,都能解决输入流水线的瓶颈问题。

  • tf.data 新增了两种机制提高资源利用率从而解决输入流水线瓶颈。对于专业用户,新的 service API 提供了一种提高训练速度的方法。当连接到训练设备的主机无法满足模型的数据消耗需求时,该 API 让您可以将输入数据的预处理负载均衡至由 worker 组成的计算集群,在训练任务之外单独执行,以充分利用硬件加速设备。第二个新功能是 tf.data snapshot API,它可以将输入预处理流水线的输出长久储存到磁盘,从而可以在运行其他训练任务时中重复使用它。这样可以借助存储空间换得更多的 CPU 时间。
  • TF Profiler 还添加了两个新工具:一个实时记录模型内存使用情况的可视化内存分析器。以及一个允许您在模型中跟踪 Python 函数调用的 Python 追踪器。您可以在下文阅读更多有关信息(如果您是 TF Profiler 新手,请务必查看此文章内容)。
  • TensorFlow 2.3 实验性的添加了 对全新的 Keras Preprocessing Layers API 支持。预处理层可以将您的预处理逻辑打包到模型中,以便更轻松地部署。就是说,您可以将原始字符串、图像或表格行直接输入到模型。也有新的改善用户体验的实用程序 ,仅用几行代码即可轻松地从磁盘图像或文本文件目录创建 tf.data.Dataset。

TF Profiler 新添的内存分析器

tf.data 新功能

tf.data.service

现代加速器如

  • 3
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值