CUDA、cuDNN、TensorFlow-GPU版的安装，同时在Visual Studio 2019中搭建一个CUDA编程环境，解决CUDA安装后VS里没有CUDA模块

前言

因为要在VS环境中进行CUDA编程，所以在已有VS2019的基础上，需要下载CUDA。
又因为在进行深度学习模型训练时也可以用到CUDA加速计算，所以在搭建CUDA编程环境的同时，顺便把深度学习的加速环境也安装一下。以下是安装的过程及总结。
总结：
CUDA编程需要安装的：Visual Studio 2019+CUDA11.6
深度学习中想使用CUDA加速需要安装的：Anaconda+CUDA11.6+cuDNN11.x+tensorflow-gpu

1.基本知识介绍

1.1CUDA介绍

CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。 开发人员可以使用C语言来为CUDA架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。

我们可以安装CUDA来进行深度学习在NVIDIA的GPU显卡加速运算。

1.2CUDNN介绍

CUDA并不是实现GPU的神经网络加速库，如果希望针对的是神经网络进行加速，我们还需要安装cuDNN神经网络加速库。
cuDNN并非是应用程序，而是几个文件包，下载后把它复制到CUDA 的目录下即可。

2.安装过程

在给安装教程之前，需要特别注意，很多CUDA的安装教程中有下面这幅图，说不勾选怕安装失败。如果按图中的做法，可能会发现安装了CUDA，但是打开VS2019中找不到CUDA模块，也就是依赖项没有cuda，无法在VS中进行CUDA编程。

解决方法：如果要在Visual Studio中进行CUDA编程，在下面这一步的时候自己判断是否要勾选Visual Studio Integration，很重要！

• 如果本机已经有了Visual Studio Integration文件，要取消勾选，避免冲突了。
• 如果本机没有的话，要勾选！！！（第一次安装的话肯定是没有的）
  （某些安装教程说不要勾选怕安装失败，我亲测CUDA 11.6勾选Visual Studio Integration可以安装成功！，并且成功解决了安装cuda后VS中没有cuda模块的问题。）
  
  成功安装CUDA后打开VS创建新项目，可以看到页面中有CUDA选项，如下所示。
  

说清楚了注意事项后，CUDA、cuDNN以及TensorFlow-gpu的安装过程参考下面链接中的这篇文章，这个博主写的非常详细。
链接: 安装tensorflow的GPU版本（详细图文教程）–CUDA11.6的安装.

nvidia-smi是常用的GPU命令，他的输出代表的意思如下。

实际安装的cuda版本查询方式，在cmd环境中输入：nvcc -V