NVIDIA TensorRT 是一个用于深度学习加速推理的 SDK,为了使用 TensorRT 进行模型推理,通常需要先将 PyTorch 模型转换为 ONNX 或 TorchScript 格式,而 Torch-TensorRT (项目更名前为TRTorch) 是 NVIDIA 和 Pytorch 合作推出的一个编译器,支持将 PyTorch/TorchScript 模型直接编译后使用 TensorRT 部署。
Torch-TensorRT文档
Torch-TensorRT
于 2023-02-07 09:37:03 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)