TensorRT的集成加速TensorFlow的推理

TensorRT的集成加速TensorFlow的推理

NVIDIA宣布了TensorRT推理优化工具与TensorFlow的集成。TensorRT集成将可用于TensorFlow 1.7分支。TensorFlow是当今最受欢迎的深度学习框架，而NVIDIA TensorRT通过优化和高性能运行时方法加速了基于GPU平台的深度学习推理。我们希望在使用TensorRT的情况下，给TensorFlow的用户使用尽可能高的推理性能和接近透明的工作流程。新的集成提供了一个简单的API，它可以在TensorFlow内使用TensorRT应用强大的FP16和INT8优化。TensorRT在ResNet-50基准测试的低延迟运行中加快了8倍的TensorFlow推理速度。

TensorRT下载地址：https://developer.nvidia.com/nvidia-tensorrt-download
TesnsoRT的介绍文档：https://devblogs.nvidia.com/tensorrt-3-faster-tensorflow-inference/
TensorRT的开发者指南：http://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html
TensorRT的样例代码：http://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#samples

TensorFlow中的子图优化：

集成优化TensorRT的TensorFlow执行兼容的子图，让TensorFlow执行剩余的图。虽然您仍然可以使用TensorFlow的丰富且灵活的特性集，但TensorRT将尽可能地解析模型并对图的部分应用优化。您的TensorFlow程序只需要几行新代码就可以促进集成。您是准备好使用TensorRT和TensorFlow模型了吗? 接下来，您将了解如何使用TensorRT优化TensorFlow模型需要导出的图表。您可能需要手动导入某些不受支持的TensorFlow层，这在某些情况下可能需要多花点时间。

接下来，让我们逐步了解工作流程。