Windows+tensorflow+CUDA搭建GPU加速环境

写在前面

在搭建GPU加速环境时遇到了各种各样的坑，在此记录仅供他人参考和自己回顾。虽然网上有各种各样的教程，但是个人感觉讲的不是很明白，在这里想再理理思路。

坦白说，起初连什么是GPU加速都不太清楚，经过一番查阅了解才大致有个印象，有了一个整体思路的话，搭建环境会快很多，在搭建过程中，一定要时刻注意版本的对应。

CUDA

CUDA是英伟达公司推出的一款产品，能够利用GPU的并行计算引擎，从而能够解决更加复杂的任务，比如跑深度学习模型，GPU简直比CPU快了一倍不止。其官方下载地址为CUDA Tookits下载，下载之前一定要先了解到自己的环境，是Windows还是Linux，是哪一个版本，一定要确定好了再下载，否则很浪费流量、浪费精力！。

确定好自己的环境之后进行下载。下载后打开进行安装（建议不要修改路径），如下图

等一个进度条之后就可以进行正常安装了，按照安装流程一路“确定”就可以了，其中安装选项界面用精简模式即可，比较懂的可以自定义，最终完成CUDA的安装。

在这里插入图片描述
检验是否安装成功的方式：
在CMD命令台中，用nvcc -V进行测试，出现下图测试结果即为安装成功

cuDNN

这个也是NVIDIA推出的用于深度神经网络的GPU加速库，它通常集成在高级别的深度学习库中，如Caffe、tensorflow、Pythrch等，而tensorflow-gpu就是集成了cuDNN，它通过配置环境变量来调用cuDNN及CUDA。
cuDNN的环境要与CUDA搭配起来，详情请见Tensorflow不同版本要求与CUDA及CUDNN版本对应关系，选好版本后到官网下载（得注册账号）
下载地址：cuDNN
下载好之后，解压会看到如下图所示的结果

其中bin和include目录下都只有一个文件，将文件分别将其拷贝到CUDA的对应的bin和include目录中(默认CUDA安装目录为C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0)，也就是对CUDA做一个补充。
注意：千万不要把CUDA本身的这三个文件目录覆盖，否则你会被坑的很惨(亲身经历)，最后将lib目录下x64中的文件也拷贝到对应的路径中。如下图所示

配置环境变量：
将bin目录、include目录及lib下的x64目录添加到系统环境变量path中。
示例如下图，具体路径根据自己的环境来

tensorflow-gpu

至此外部环境搭建的就差不多了，下面就可以安装与cuDNN版本对应的tensorflow-gpu库了，在安装之前，如果已经安装了tensorflow，一定要先删掉(uninstall)这个库，因为tensorflow与tensorflow-gpu的目录文件有重复，会覆盖tensorflow的部分文件，然后就没法正常执行程序了。
下载指令pip install tensorflow-gpu或者用conda安装
版本对应关系仍见Tensorflow与cuDNN版本

环境测试

测试环境是否成功可使用下面的脚本

import os
import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
# 指定第一块GPU可用
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
config = tf.ConfigProto()
config.gpu_options.allow_growth=True   #不全部占满显存, 按需分配
# config.gpu_options.per_process_gpu_memory_fraction = 0.3
sess = tf.Session(config=config)
KTF.set_session(sess)

运行之后，看到自己的显卡信息即为配置成功，正确的执行结果如下图

可以看到我的Tesla P4 GPU已经跑起来啦，至此环境搭建结束，欢迎继续交流！

参考文章

1. Windows10系统下的tensorflow-gpu+CUDA+cuDNN配置
2. Tensorflow不同版本要求与CUDA及CUDNN版本对应关系
3. 如何检查keras / tensorflow是否正在使用cuDNN
4. 正确的姿势安装cudnn