tensorflow gpu利用率低_TensorFlow 模型优化工具 — float16 量化将模型体积减半

我们很高兴在模型优化工具包中添加训练后的半精度浮点量化 (float16 quantization)，此工具套件包含混合量化 (hybrid quantization)、训练后整形量化 (full integer quantization) 和剪枝 (pruning)。点此查看发展蓝图中的其他工具。

训练后的半精度浮点量化可以在损失极少准确度的情况下，缩小 TensorFlow Lite 模型的大小(最高可缩减 50%)。它将模型常量(如权重和偏差值)从全精度浮点(32 位)量化为精度下降的浮点数据类型 (IEEE FP16)。

注：量化 链接

https://tensorflow.google.cn/model_optimization/guide#quantization

训练后的半精度浮点量化不但对准确度的影响很小，而且能显著缩小模型尺寸，因而是初始量化 TensorFlow Lite 模型的好工具。您可在此处查看我们的文档(包含新的浮点图表)，了解不同的量化选项和方案。

注：文档 链接

https://tensorflow.google.cn/lite/performance/post_training_quantization