Windows系统安装CUDA，cudnn & TensorFlow全过程

概述

• 本文最终目的是在anaconda虚拟环境中，安装包含TensorFlow-gpu的虚拟环境。
• 在此之前，本机已安装GPU驱动，Visual Studio 2015， 和 anaconda， 还需安装版本匹配的CUDA，cuDNN，以及虚拟环境。

CUDA & cuDNN 直观理解

• CUDA
  是NVIDA推出的针对NVIDIA GPU的通用并行计算模型，可以看做是一个工具包（ToolKit）（所以在一台电脑上可以安装多个版本的CUDA）。

  其主要作用是：
  1）简化开发过程：使开发人员无需学习特定的显卡指令或结构，直接专注于用熟悉的C语言写程序，就可以在显卡上执行，不必花时间在如何实现/执行其所写程序上。
  2）支持异构计算：应用程序若同时使用CPU和GPU，则CUDA可将程序的穿行部分放在CPU运行，并行部分卸载到GPU运行，两者可同时进行计算，而不会争用内存资源。

  CUDA与显卡驱动之间没有捆绑关系，也非一一对应，但离线安装的CUDA会默认包含与之匹配的最新显卡驱动程序。

• cuDNN

  是NVIDA推出的针对深度神经网络的GPU加速库。

  若要用GPU训练模型，cuDNN并非是必须的，但通常都会采用该加速库。

  至于cuDNN是如何加速神经网络训练的，有需要再深究和补充。

CUDA, cuDNN 与tensorflow GPU版本匹配

Tensorflow需要以下软硬件支持：
1）NVIDIA GPU (支持CUDA且算力在3.5及以上)
2）CUDA
3）CUPTI
4）cuDNN

其中࿰