【TensorRT系列】(一)从SSD模型跑起来开始
零、TensorRT简介
1、TensorRT的基本功能
TensorRT是NVIDIA开发的一个可以在NVIDIA旗下的GPU上进行高性能推理的C++库,是一个高性能推理优化引擎。
其核心库是使用c++去加速NVIDIA生产的GPU,具有python API。它可以加速的框架模型有:tensorflow、Caffe、Pytorch、MXNet等。
它可以吸收在这些流行框架上受过训练的神经网络,优化神经网络计算,生成一个轻量级的运行时引擎,然后它将在这些GPU平台上最大限度地提高吞吐量、延迟和性能。
2、工
原创
2020-07-28 10:43:49 ·
5568 阅读 ·
2 评论