Windows系统安装CUDA和cuDNN

前言

注：想直接查看安装教程的可跳过该步骤

什么是CUDA

CUDA（Compute Unified Device Architecture，统一计算架构）是由NVIDIA所推出的一种集成技术，是该公司对于GPGPU的正式名称。透过这个技术，用户可利用NVIDIA的GeForce 8以后的GPU和较新的Quadro GPU进行计算。亦是首次可以利用GPU作为C-编译器的开发环境。NVIDIA营销的时候，往往将编译器与架构混合推广，造成混乱。实际上，CUDA可以兼容OpenCL或者自家的C-编译器。无论是CUDA C-语言或是OpenCL，指令最终都会被驱动程序转换成PTX代码，交由显示核心计算。

换句话说CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。

在 CUDA 架构下，显示芯片执行时的最小单位是thread。数个 thread 可以组成一个block。一个 block 中的 thread 能存取同一块共享的内存，而且可以快速进行同步的动作。每一个 block 所能包含的 thread 数目是有限的。不过，执行相同程序的 block，可以组成grid。不同 block 中的 thread 无法存取同一个共享的内存，因此无法直接互通或进行同步。因此，不同 block 中的 thread 能合作的程度是比较低的。不过，利用这个模式，可以让程序不用担心显示芯片实际上能同时执行的 thread 数目限制。例如，一个具有很少量执行单元的显示芯片，可能会把各个 block 中的 thread 顺序执行，而非同时执行。不同的 grid 则可以执行不同的程序（即 kernel）。

什么是cuDNN

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如加州大学伯克利分校的流行caffe软件。简单的，插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是调整性能，同时还可以在GPU上实现高性能现代并行计算。

---

官方安装教程

CUDA：https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
cuDNN：https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows

---

Windows10系统安装CUDA10

注：使用开发带图形界面的应用，安装cuda之前要先安装vs

VS2017_Community下载链接：https://visualstudio.microsoft.com/zh-hans/downloads/

在安装选项中勾选“C++桌面开发”即可

CUDA下载链接：https://developer.nvidia.com/cuda-10.0-download-archive

在官网上选择适合操作系统的CUDA版本

下载完成后开始CUDA的安装，默认下载路径点击“下一步”，安装非常简单，完成之后系统的环境变量也已经自动添加

测试CUDA是否完成安装

打开cmd命令行窗口输入nvcc -V

Windows10系统安装cuDNN

cuDNN下载链接：https://developer.nvidia.com/rdp/cudnn-download

选择与CUDA匹配的cuDNN版本进行下载

选择操作系统版本

下载解压缩后，将文件夹下cndnn64_7.dll cudnn.h cudnn.lib分别复制到

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64

注：上面路径是cuda10安装的默认路，根据自己安装路径调整即可