tensorflow使张量转置_[腾讯机智]利用XLA提升TensorFlow训练性能的案例介绍

0. 在开始前，先看一下效果

优化后，在单卡V100上，batch_size=128 测试每秒处理样本数

1. 优化后相比于优化前加速了50%左右；
2. 优化后开启XLA相对于不开启XLA加速了40%左右。

再来回顾一下问题的解决过程~~

1. 问题背景

对在某监督学习场景中，发现在FP32下开启XLA训练呈负优化效果，而在混合精度下开启XLA训练有约94%的加速效果。

在单卡V100上，batch_size=128 测试每秒处理样本数，实验结果如下：

2. 问题调查

对比 FP32+XLA（图1）和 混合精度+XLA（图2）的 timeline，发现混合精度+XLA只有2个_XlaRun，而FP32+XLA有8个_XlaRun，且两个_XlaRun中间有一些额外的OP，耗时80