深眸分享-深度学习模型加速tensorRT

1.什么是tensorRT

tensorRT是nvidia公司推出的，能够高效快速地推理深度学习模型的SDK。其可以将主流的深度学习框架模型转换成更加适配nvidia显卡的形式，从而达到高速推理的目的。

2.为什么选择tensorRT

以主流的pytorch框架为例，其在推理速度上有着明显劣势。计算机视觉领域对推理时间一般有严格的要求，Pytorch模型经过tensorRT加速后，速度可以提升至少十倍以上，但模型的识别精度几乎不下降。并且RT提供了自己的runtime，可以使模型部署更轻松。

除此以外，RT优化了模型对于显存的使用策略，使得显存利用率更高。

目前tensorRT几乎支持所有主流的深度学习框架，如pytorch，TensorFlow等，可选择性更高。

3.局限性

01

tensorRT并不能支持所有的模型算子，尤其是新算子，这导致部分框架并不能直接使用RT进行转换。但目前来看nvidia官方对RT的投入是足够的，比较主流的新算子都会陆续更新支持

02

因为tensorRT的加速是部分基于硬件的，所以硬件上基本绑定了nvidia显卡，并且由于硬件上的差异，经过加速后的模型只能运行在相同型号的GPU上，即在3060显卡上加速的模型只能运行在3060显卡