文章介绍了如何使用TensorRT优化GPU深度学习推理模型的过程，包括CUDA和cudnn的下载安装，确保版本匹配，以及环境变量的设置。通过将.pt模型转换为.trt模型，可以提高推理速度。作者提供了详细的步骤，包括下载CUDA和cudnn，添加环境变量，以及使用TensorRT的样例MNIST进行测试来验证安装配置是否成功。
导语
TensorRT是英伟达的AI加速推理模型，我们在使用GPU深度学习训练完后，会生成.pt模型，但是这个模型在推理时不够快，这时候就需要转化成trt模型，使用c++利用TensorRT API编写程序进行快速推理。
一.CUDA下载安装
本人下载的版本是cuda11.6,cudnn8.4,正好对应上的，当然cuda版本要能支持你的GPU，cuda版本太高你的GPU跑不了，cuda版本太低也不好。
运行命令提示符cmd,输入图中指令查看自己显卡信息
如图所示，我的电脑显卡是3050ti,驱动版本是516.91，CUDA版本是11.7，对应关系如下图：
这里只提供一部分，更前的和随着40系显卡的出现，这张表肯定会落后，如图，我的显卡版本正好卡在11.7update1和11.8GA之间，我下了11.6update2版本。
CUDA下载官网：CUDA Toolkit Archive | NVIDIA Developer
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
