cuDNN 与 CUDA 版本选择

前传：CUDA 与 显卡版本选择（实际是驱动版本）

显卡驱动

显卡驱动是封装成软件的程序，硬件厂商根据操作系统编写的配置文件。安装成功后成为了操作系统中的一小块代码，它是硬件所对应的软件，有了它，计算机就可以与显卡进行通信，驱使其工作。如果没有显卡驱动，显卡就无法工作。

CUDA

官网introduction：其是由NVIDIA发明的并行计算平台以及编程模型，它可以显著的提高GPU的计算性能。
官网introduction链接：https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html

cuDNN

官网综述：NVIDIA的cuDNN是针对深度神经网络计算的一个GPU加速库，为标准例程提供了高度优化的实现，比如向前、向后卷积，池化，规范化和激活层。其是NVIDIA Deep Learning SDK的一部分。
官网综述链接：https://docs.nvidia.com/deeplearning/sdk/cudnn-install/
有一个比喻能够更形象的说明CUDA、cuDNN两者的关系：CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具，比如它就是个扳手。但是CUDA这个工作台买来的时候，并没有送扳手。想要在CUDA上运行深度神经网络，就要安装cuDNN，就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作，工作速度相较CPU快很多。
比喻出自：https://www.jianshu.com/p/622f47f94784

                     
原文链接：https://blog.csdn.net/qq_18620653/article/details/105329219

CUDA Toolkit 的安装在前传中已经足够清楚，下面仅补充 cuDNN 与 CUDA 较原文的变动

cuDNN安装
cuDNN官网下载链接：cuDNN Archive | NVIDIA Developer
我安装的是CUDA12.4.1，对应我选择下载cuDNN v8.9.4（记住，后面要用上）

然后会进入这个页面。已经注册过的点击Login直接登录，未注册过的点击Join now按提示注册登。注册后需要去你的邮箱进行认证，才能完成注册。

下载后将压缩包解压（路径没要求），解压好的cuDNN三个的文件

去到官网的cuDNN历史版本的文档说明https://docs.nvidia.com/deeplearning/cudnn/archives/index.html

找到你自己安装的版本（这里是v8.9.4）, 找到安装指导NVIDIA cuDNN Installation Guide

C盘新建文件夹，C:\Program Files\NIVDIA\CUDNN\v8.9.4，将解压后的文件复制过来

配置环境变量

win+R 打开命令行， 输入 sysdm.cpl,

添加C:\Program Files\NVIDIA\CUDNN\v8.x(你自己的版本)\bin 到系统变量Path

测试

配置完成后，我们可以验证是否配置成功，主要使用CUDA内置的deviceQuery.exe 和 bandwithTest.exe：
首先win+R启动cmd，输入 cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\demo_suite，然后分别执行bandwidthTest.exe和deviceQuery.exe，应该得到下图:
执行bandwidthTest.exe

接着执行deviceQuery.exe

如果以上两步都返回了Result=PASS，恭喜你配置成功。