背景
在使用YOLO8进行缺陷检测中,我们会使用到NVIDIA GPU进行训练和推理,本文简单介绍了CUDA、cuDNN和TensorRT,然后告诉你如何进行一步一步地进行安装并验证他们是否安装成功。
前提条件:CUDA,cuDNN,TensorRT都是针对NVIDIA显卡的软件,因此在执行安装之前,先确认你的电脑有没有安装有NVIDIA的独立显卡。
通过“设备管理器”查看你的电脑上是否包含NVIDIA 显卡:
什么是CUDA?
CUDA(Compute Unified Device Architecture)是由NVIDIA公司开发的一种并行计算平台和API模型,它允许使用NVIDIA的图形处理器(GPU)进行通用计算。CUDA可以显著提高GPU的计算能力,使其能够处理复杂的数学运算、图像处理、深度学习等任务。通过将计算任务分配给GPU上的多个线程,CUDA可以实现高性能并行计算,从而加速各种应用程序的开发和运行。
CUDA Toolkit Documentation 12.3 Update 1 (nvidia.com)
什么是cuDNN?
cuDNN(CUDA Deep Neural Network Library)是NVIDIA公司开发的一个针对深度神经网络的GPU加速库。cuDNN包含了一系列用于加速卷积神经网络、循环神经网络等深度学习算法的函数库,这些函数库可以利用GPU的并行计算能力来提高深度学习模型的训练和推理速度。cuDNN支持多种主流深度学习框架,如TensorFlow、PyTorch、Caffe等,使得开发者可以方便地将深度学习模型部署到GPU上进行加速计算。
CUDA Deep Neural Network (cuDNN) | NVIDIA Developer
什么是TensorRT?
TensorRT是NVIDIA公司开发的一个高性能深度学习推理(inference)库,它可以将训练好的深度学习模型优化并转换为GPU上的高性能推理引擎。TensorRT使用静态图分析和动态优化技术来减少模型的内存占用、提高推理速度,同时支持多种深度学习框架,如TensorFlow、PyTorch、Caffe等。TensorRT还提供了一些高级功能,如混合精度计算、多卡并行计算、模型量化等,可以帮助开发者更高效地部署和管理深度学习模型。
TensorRT SDK | NVIDIA Developer
Windows下如何安装CODA?
前提条件:先安装CUDA。
CUDA Installation Guide Windows 12.3 (nvidia.com)
下载CUDA
CUDA Toolkit Archive | NVIDIA Developer
下载你需要的版本,12.*版本,似乎Tensort推理库还没有支持,我这里暂时用 11.8,后续等Tensort支持12.*了,再升级。
点击“Download”下载到本地磁盘,安装文件比较大,建议用迅雷下载,速度飞起。
安装CUDA
鼠标双击“cuda_11.8.0_522.06_windows.exe”
这个安装包好几个G,我们不要直接安装到系统盘(C:)了,我这里修改到D盘:
这里要吐槽一下,“浏览...”的功能无法创建新目录,只能自己打开D盘,先创建好目录,在重新进行浏览选中刚刚创建好的目录。
注意:这里提示没有找到Vusial Studio,本来是打算勾选,点击“NEXT",但是可能会导致某些功能出问题,没有办法,最后还是选则了“取消”安装。
[Visual Studio] 基础教程 - Window10下如何安装VS 2022社区版
安装好Visual Studio 2022社区版后,再次点击“exe”,重新安装,前面的保持同样的步骤,到这来就不会报“No supported version of Visual Studio was found.”的错误了,直接进行VS 设置阶段:
安装完成之后,查看一下前面的临时解压目录:“C:\Users\Jim\AppData\Local\Temp\CUDA”是否被删除了,如果没有,手动删除。
最后,务必把安装目录下的的bin目录添加到(我这里是“D:\MyDev\Cuda11.8\bin”),否则后面会验证的步骤,会报nvcc命令找不到,或者dll找不到的错误。
如何验证CODA安装成功
方式一
进入你选定的安装目录地下的子目录“.\extras\demo_suite”,
方式二
打开“NVIDIA Control Panel”:
点击左下角“系统信息”:
方式三
打开命令行窗口,运行“nvcc --version”:
Windows下如何安装cuDNN?
前提条件:先安装CUDA。
Installation Guide - NVIDIA Docs
下载cuDNN
CUDA Deep Neural Network (cuDNN) | NVIDIA Developer
注册或使用已有的NVIDIA账号进行登陆(可能需要打开你的电子邮箱点击通过验证):
cuDNN Download | NVIDIA Developer
这里的cuDNN要和你使用cuda版本保持一致,否则无法正常使用cuDNN:
安装cuDNN
解压下载的压缩包:
复制bin下的所有文件到cuda安装目录的bin目录:
复制lib下的所有文件到cuda安装目录的lib目录:
复制include下的所有文件到cuda安装目录的include目录:
如何验证cuDNN安装成功?
可以通过创建VS VC++工程,调用里面的相关函数进行验证:
Windows下如何安装TensorRT?
前提条件:先安装CUDA。
Installation Guide :: NVIDIA Deep Learning TensorRT Documentation
下载TensorRT
TensorRT SDK | NVIDIA Developer
这里下载和cuda版本一致的11.8版本。咦,喜讯呀,好像TensorRT开始支持12.*了,看来后续可以升级到12.*。
安装TensorRT
解压下载的安装包:
复制bin下的所有文件到cuda安装目录的bin目录:
复制lib下的所有文件到cuda安装目录的lib目录:
复制include下的所有文件到cuda安装目录的include目录:
如何验证安装成功?
打开命令行窗口,运行“trtexec.exe -h”:
Linux下如何安装CODA?
CUDA Installation Guide for Linux (nvidia.com)
Linux下如何安装cuDNN?
Installation Guide - NVIDIA Docs
Linux下如何安装TensorRT?
Installation Guide :: NVIDIA Deep Learning TensorRT Documentation