谷歌更新了Tensorflow 2.2。在清华的镜像网站上已经有相关的软件包。已经安装了Tensforflow的可以使用:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade tensorflow-gpu
大约需要10多分钟的时间吧。
2.2 包含了如下的升级:(来自网络)
主要特性和改进
- 将字符串张量的标量类型从 std::string 替换为 tensorflow::tstring
- TF 2 的新 Profiler,用于 CPU/GPU/TPU。它提供设备和主机性能分析,包括输入管道和 TF Ops。
- 不推荐使用 SWIG,而是使用 pybind11 将 C++ 函数导出到 Python,这是弃用 Swig 所作努力的一部分。
tf.distribute:
- 将 NVIDIA NCCL 更新到 2.5.7-1,以获得更好的性能和性能调整。
- 支持在 float16 中减少梯度。
- 所有实验的支持都减少了梯度压缩,以允许使用反向路径计算进行重叠梯度聚合。
- 通过使用新添加的 tf.keras.layers.experimental.SyncBatchNormalization
层,添加了对全局同步 BatchNormalization 的支持。该层将在参与同步训练的所有副本之间同步 BatchNormalization 统计信息。 - 使用 tf.distribute.experimental.MultiWorkerMirroredStrategy 提高 GPU
多工分布式培训的性能
tf.keras:
- 可以通过覆盖 Mod