tensorflow gpu利用率低_TensorFlow发布其新更新：TensorFlow 2.4.0rc4

TensorFlow最近发布了其新更新TensorFlow 2.4.0-rc4。TensorFlow Profiler现在支持对MultiWorkerMirroredStrategy 进行概要分析，该概要文件现在是一个稳定的API，并使用采样模式API跟踪多个工作进程。该策略可在多个可能具有多个GPU的工人之间进行同步分布式训练。一些重大的改进涉及处理同级失败和许多错误修复，这些错误修复可以在Keras的多员工训练中找到 。Keras Functional API内部的主要重构已完成。它提高了构建功能模型的可靠性，稳定性和性能。该更新还增加了对TensorFloat-32的支持在基于Ampere的GPU上。TensorFloat-32(TF32)是基于NVIDIA Ampere的GPU的数学模型，默认情况下启用。

重大变化

TF核心：

由于TensorFloat-32的缘故，一些float32运算在基于Ampere的GPU上运行时的精度较低，包括matmul和卷积 。例如，此类运算的输入从23位精度舍入到10位精度。在某些情况下，TensorFloat-32也可用于complex64 ops。因此现在可以禁用TensorFloat-32。

删除了许多不相关的API函数，例如C中用于字符串访问/修改的C-API函数。不属于TensorFlow公共API的模块被隐藏。