【更新发布】TensorFlow 2.4 新功能一览！

TensorFlow 2.4 正式发布！随着对分布式训练和混合精度提供更多支持，加入新的 Numpy 前端及用于监控和诊断性能瓶颈的工具，这个版本的亮点在于推出新功能，以及对性能和扩展方面的增强。

 

tf.distribute 的新增功能

参数服务器策略

在版本 2.4 中，实验性引入了 tf.distribute 模块的支持，可通过 ParameterServerStrategy 和自定义训练循环对 Keras 模型进行异步训练。与 MultiWorkerMirroredStrategy 一样，ParameterServerStrategy 是一种多工作器数据并行策略；但其梯度更新方式为异步执行。 

参数服务器训练集群包含工作节点和参数服务器。系统会在参数服务器上创建变量，然后工作节点会在每个步骤中进行读取和更新。变量的读取和更新会在各工作节点上独立进行，同时无需采取任何同步操作。由于工作节点互不依赖，因此该策略具有工作器容错的优势，并会在使用抢占式服务器时有所助益。 

如要开始使用此策略，请查阅参数服务器训练教程。此教程介绍了如何设置 ParameterServerStrategy，并说明了如何使用 ClusterCoordinator 类来创建资源、调度函数和处理任务失败。 

 

多工作节点镜像策略

MultiWorkerMirroredStrategy 多工作节点镜像策略   已顺利度过实验阶段，现已成为稳定 API 的组成部分。与单个工作节点副本 MirroredStrategy 一样，