TensorRT教程
文章平均质量分 92
菜鸟的追梦旅行
一个初入深度学习的菜鸟,在这里潜心修行,希望有所收获。
展开
-
深度学习模型部署(八)TensorRT完整推理流程
本文详细介绍了TensorRT的大致流程,包括模型解析、计算图优化、选择合适kernel、导入自定义插件、显存管理以及运行时环境的管理。重点讲解了如何配置TensorRT进行不同精度(FP16、INT8)推理,以及如何生成和使用Engine进行推理操作。转载 2024-09-18 13:25:38 · 282 阅读 · 0 评论 -
【YOLOv8】使用tensorrt实现动态batch推理(python api)
使用 TensorRT python api 进行批量推理。转载 2024-08-29 15:46:28 · 188 阅读 · 0 评论