机器之心报道
参与:杜伟、一鸣
TensorFlow2.1的更新,能够让弃坑的用户回心转意吗?
去年 10 月,谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后,昨日官方发布了 TensorFlow 2.1,本次版本更新带了了多项新特性、功能改进和 bug 修复。
从本次更新的日志来看,TensorFlow 2.1 将成为最后一个支持 Python2 的版本了。同时,本次更新的重点是增加了对 TPU 的多项支持,而 tf.keras 和 tf.data 这两个常用的 API 也得到了很多新的更新。据悉,TensorFlow 2.1 的 CUDA 版本为 10.1,cuDNN 版本为 7.6。
在对操作系统的支持上,Windows 和 Linux 系统的 TensorFlow pip 版本默认支持 GPU。也就是说,如果使用 pip install tensorflow,则版本默认为是 gpu 版本(原始的 tensorflow-gpu 版本依然存在)。当然,不管有没有英伟达版本的 GPU,tensorflow 依然能够运行。如果需要使用 CPU 版本,用户的安装命令应该为:pip install tensorflow-cpu。项目地址:https://github.com/tensorflow/tensorflow/releases对于本次更新的内容,机器之心整理如下:进一步支持 TPUTensorFlow 2.1 最大的亮点在于进一步增加对 TPU 的支持。从 tf.keras、tf.data 等 API 的功能调整和更新来看,现在使用 TPU 加载数据集、训练和模型推理会更方便一些。tf.keras 对 TPU 的支持
增加了在 GPU 和 Cloud TPUs 上对混合精度(mix precision)的支持;tf.Keras 中的 compile、fit、evaluate、predict 等 API 都支持 Cloud TPUs 了,而且支持所有的 Keras 模型(即以 sequential、functional 和子类方式构建的模型都支持);现在可以使用 Cloud TPU 进行自动外部编译(automatic outside compilation)了,这使得 tf.summary 和 Cloud TPUs 能够更好地一起使用;分布式策略和 Keras 中的动态批大小控制已支持 Cloud TPUs;支持在 TPU 上使用 numpy 格式的数据进行 fit、evaluate 和 predict。tf.data 对 TPU 的支持tf.data.Dataset 现在支持自动数据分发(automatic data distribution)和分布式环境下的分片操作,包括在 TPU pods 上都可以。tf.distribute 对 TPU 的支持支持在 TPU 和 TPU pods 上定制训练循环,通过以下 API 即可:strategy.experimental_distribute_dataset、 strategy.experimental_distribute_datasets_from_function、strategy.experimental_run_v2 和 strategy.reduce。重要 API 更新TensorFlow 2.1 进行了以下一些重要的 API 更新:tf.keras
推出了 TextVectorization 层,该层将原始字符串作为输入,并兼顾到了文本规范化、标记化、N 元语法生成和词汇检索;允许 Keras .compile、.fit、.evaluate 和.predict 在 DistributionStrategy 范围之外,前提是模型在该范围内构建;诸多流行模型的 Keras 参考实现都可以在 TensorFlow Model Garden(https://github.com/tensorflow/models/tree/master/official)中获得;tf.datatf.data datasets 和分布式策略都进行了改进,以获得更好的性能。需要注意的是 dataset 会变得有些不同,重新进行了分批的数据集会有多个副本;而分布式策略也会进行调整,如下所示:
tf.data.experimental.AutoShardPolicy(OFF, AUTO, FILE, DATA) tf.data.experimental.ExternalStatePolicy(WARN, IGNORE, FAIL)
TensorRT现在 TensorRT 6.0 是默认的版本,这一版本增加了对更多 TensorFlow 算子的支持,包括 Conv3D、Conv3DBackpropInputV2、AvgPool3D、MaxPool3D、ResizeBilinear 和 ResizeNearestNeighbor。此外,TensorFlow 和 TensorRT 的 Python 交互 API 被命名为 tf.experimental.tensorrt.Converter。Bug 修复TensorFlow 2.1.0 还修复了以前版本中出现的一些 Bug,整理如下:tf.data
修复当 sloppy=True 时 tf.data.experimental.parallel_interleave 出现的并发问题;增加 tf.data.experimental.dense_to_ragged_batch();扩展 tf.data 语法解析选项,从而支持 RaggedTensors。tf.distribute修复使用 tf.distribute.Strategy 时 GRU 崩溃或输出错误结果的问题。tf.keras
导出 tf.keras.backend 中的 depthwise_conv2d;在 Keras Layers 和 Models 中,删除 trainable_weights、non_trainable_weights 和 weights 中变量的重复数据;Kerasmodel.load_weights 现将 skip_mismatch 接受为一种自变量;修复 Keras 卷积层的输入形状缓存的行为;Model.fit_generator、Model.evaluate_generator、Model.train_on_batch, Model.test_on_batch 和 Model.predict_on_batch 方法现遵循 run_eagerly 属性,并且在默认情况下,使用 tf.function 能够正确地运行。请注意,Model.fit_generator、Model.evaluate_generator 和 Model.predict_generator 是不宜用的端点。这些端点现已被归入支持生成器和序列的 Model.fit、Model.evaluate 和 Model.predict 中。