最近在用tensorrt做部署的时候发现如果想要把模型部署作为主业,仅仅会调用tensorrt一些函数是不够用的,还需要对cmake和cuda有更深的理解。
c++、cmake、蒸馏、剪枝、量化、cuda编程等是做模型部署的比较基础的东西
cuda编程和tensorrt的关系:
cuda是平台和编程模型使得我们可以通过C++和其他编程语言直接利用 GPU 的并行计算能力
tensorrt是用来优化模型
最近在用tensorrt做部署的时候发现如果想要把模型部署作为主业,仅仅会调用tensorrt一些函数是不够用的,还需要对cmake和cuda有更深的理解。
c++、cmake、蒸馏、剪枝、量化、cuda编程等是做模型部署的比较基础的东西
cuda编程和tensorrt的关系:
cuda是平台和编程模型使得我们可以通过C++和其他编程语言直接利用 GPU 的并行计算能力
tensorrt是用来优化模型