TensorRT算法部署
文章平均质量分 71
以TensorRT和PyTorch为主,以工程角度考虑,如何导出模型、让模型尽可能高性能,以及如何上线交付
Ponnyao
记录学习中遇到的问题,备忘
展开
-
【TensorRT算法部署】精简CUDA - DriverAPI概述
1、CUDA Driver是与GPU沟通的驱动级别底层API2. 对DriverAPI的理解,有利于理解后续的RuntimeAPI3. CUDA Driver随显卡驱动发布,与cudatoolkit分开看4. CUDA Driver对应于cuda.h和libcuda.so文件5. 主要知识点是Context的管理机制,以及CUDA系列接口的开发习惯(错误检查方法),还有内存模型。原创 2023-03-15 14:55:52 · 518 阅读 · 0 评论 -
[TensorRT算法部署】介绍
1、以TensorRT和PyTorch为主,不涉及模型的训练,例如蒸馏、枝减,仅以工程角度考虑,如何导出模型、让模型尽可能高性能,以及如何上线交付(多线程)。2、部署的优化思想、导出方式、解决问题流程,可借鉴到其他算法场景。原创 2023-03-03 15:45:52 · 821 阅读 · 1 评论