win10+cuda10.2+cudnn7.6.5+TensorFlow2.3.0 深度神经网络环境搭建

1. 确认能安装的CUDA版本

win10 一般都有对应的显卡驱动，若没安装的，可以提前利用驱动软件进行安装更新或进入英伟达官网进行下载

查看可使用的CUDA版本

桌面右键——>打开英伟达控制面板
若是桌面右键没有这个选项，可以利用左下角快速搜索，搜索 NVIDIA Control Panel进行打开。


进入系统信息 —— 组件，可以看到当前驱动程序支持的 CUDA 版本，此电脑支持的版本为 10.2.104，因此需要从英伟达官网下载10.2的CUDA版本。

ps：后面发现，其实不需要过多关心此处的版本号，本文用的 cuda 10.2 其实不在 tensorflow 支持的范围内，但莫慌，可以正常使用。需要关心的点有4个：

1. 当前显卡最高支持的驱动版本，以及其支持最高 cuda 版本
2. 想要下载的 tensorflow 版本及其对应的 cuda 版本（例如 tensorflow 2.3.0 对应 cuda 10.1、tensorflow 2.4.0 对应 cuda 11.0）
3. 取上面两点最小的 cuda 版本号进行安装 （不是版本越高越好，是适合的才好，没有那么多坑，埋坑并不能提高技术水平。。。）
4. 下载 cuda 版本对应的 cudnn 版本

2.下载 CUDA Toolkit

CUDA 各版本下载连接 — 此处可能需要自备梯子才能打开网页和下载

由于我下载在线安装的版本时安装失败，因此选了本地安装包进行下载。

小提示：实测利用迅雷下载，会有明显提速，并且不需要梯子也可以进行下载，CUDA 10.2 迅雷下载连接

3.安装 CUDA 10.2

双击下载好的离线安装包，建议安装路径都选用默认路径，若是 C盘空间不足，请务必记录安装过程中设置的路径，后续需要使用。

选择自定义安装

去除 Visual Studio Integration 选项

保持默认路径设置，若需要修改，请务必记录好路径

下一步等待安装结束。
在系统变量中，添加下面的 PATH 环境变量

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\extras\CUPTI\lib64
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.2\bin\win64
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.2\common\lib\x64

验证是否安装成功
打开 CMD ，执行查看 CUDA 版本的命令

nvcc -V

显示版本信息，安装成功！

4. 安装 cudnn

需要注册登录 nvidia 开发者账号才能进行下载 下载页面
展开所有选项

找到 cudnn 7.6.5 for CUDA 10.2

小提示：可以利用迅雷进行下载 cudnn 7.6.5 zip

下载下来是一个压缩包，解压之后有3个文件夹

将这三个文件夹，直接复制到 cuda 安装目录下，
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

完成 CUDA+CUDNN 的环境安装

5.TensorFlow 测试

创建 conda 环境

若是没有安装 anaconda 的话，可以参考这篇文章进行安装，（ubuntu 与 win10 几乎通用）https://blog.csdn.net/qq_29225913/article/details/105347317

直接从开始菜单打开 anaconda CMD 环境 Anaconda Prompt
更新 pip

pip install --upgrade pip --user

直接从 base 复制一个环境，名为 tf20_gpu

conda create --name tf20_gpu --clone base 

然后进入 tf20_gpu 这个环境

conda activate tf20_gpu

安装 gpu 版本的 TensorFlow 2.3.0

pip install tensorflow==2.3.0

安装完成后，可以使用测试代码进行测试环境是否安装成功
cmd 进入python环境，逐行输入下面代码

import tensorflow as tf
print(tf.__version__)
print('GPU', tf.test.is_gpu_available())

如果出现下面错误（感觉98%的可能都会出现，因为目前 tenorflow 貌似没有支持到 cuda10.2的toolkit，2.3.0以下的最高支持 cuda10.1，而目前最新的（截止到文章日期：2021.01.02）的 tensorflow 版本是 2.4.0 支持 cuda 11.0）

 Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found

下面给出 3 个解决方法（我直接用第3个方法）：

1. 重新下载 cuda 10.1 的 toolkit，同时降级显卡驱动，cuda toolkit 安装包其实已经带有驱动了
2. 更新显卡驱动（必须显卡支持才行）下载最新的 cuda 11.0 toolkit，与 cudnn 8，同时安装tensorflow 2.4.
3. 将 cudart64_102.dll 复制一份，重命名为 cudart64_101.dll，使得 import tensorflow 时能够找到对应的dll文件。
   
   重新打开 CMD 进行测试
   
   最后出现 GPU True，意味着环境已经安装成功
   

win10 的深度神经网络GPU训练环境搭建到此搭建完毕！