TensorRT概览

TensorRT能加速模型吗？

能！根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。本人的实际经验中，TensorRT提供了20X的加速。

TensorRT为什么能提升模型的运行速度？

TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。

1. TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。
2. TensorRT对于网络结构进行了重构，把一些能够合并的运算合并在了一起，针对GPU的特性做了优化。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU的生产者和搬运工，自然就推出了针对自己GPU的加速工具TensorRT。一个深度学习模型，在没有优化的情况下，比如一个卷积层、一个偏置层和一个reload层，这三层是需要调用三次cuDNN对应的API，但实际上这三层的实现完全是可以合并到一起的，TensorRT会对一些可以合并网络进行合并。我们通过一个典型的inception block来看一看这样的合并运算。

在没有经过优化的时候，inception block是图1中的样子，一个既有深度，又有宽度，还有concat操作的结构。

首先，对于网络结构的垂直整合，即将目前主流神经网络的conv、BN、Relu三个层融合为了一个层，所谓CBR，合并后就成了图2中的结构。

然后，TensorRT还可以对网络做水平组合，水平组合是指将输入为相同张量和执行相同操作的层融合一起，比如图3， 就将三个相连的1×1的CBR为一个大的1×1的CBR。

 

 

 

 注：V3对 Inception V2 主要进行了两个方面的改进。首先，Inception V3 对 Inception Module 的结构进行了优化，现在 Inception Module有了更多的种类（有 35 × 35 、 1 7× 17 和 8× 8 三种不同结构），并且 Inception V3 还在 Inception Module 的分支中使用了分支（主要体现在 8x8 的结构中），如下图(a)，图(b)，图(c)。