. TensorRT是NVIDIA开发的深度学习推理工具,只支持推理,不支持训练; 目前TensorRT3已经支持Caffe、Caffe2、TensorFlow、MxNet、Pytorch等主流深度学习库;
2. TensorRT底层针对NVIDIA显卡做了多方面的优化,不仅仅是量化,可以和 CUDA CODEC SDK 结合使用, 也就是另一个开发包DeepStream;
3. TensorRT独立于深度学习框架,通过解析框架文件来实现,不需要额外安装DL库;