多个版本CUDA安装与切换（以CUDA10.0和CUDA10.2为例）

安装CUDA 10.2
PyTorch 1.6.0只支持 CUDA 10.2 or install CUDA 10.1

wget https://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run
sudo sh cuda_10.2.89_440.33.01_linux.run

设置环境变量

gedit ~/.bashrc
export PATH=/usr/local/cuda-10.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH
source ~/.bashrc

验证是否安装成功：

nvcc  -V

出现以下内容说明安装成功

安装cuDNN

解压文件

tar -xvf cudnn-10.2-linux-x64-v7.6.5.32.tgz

复制到CUDA下对应目录，需要根据自己的文件位置进行相应更改

sudo cp /Downloads/cuda/include/cudnn.h /usr/local/cuda-10.2/include/
sudo cp /Downloads/cuda/lib64/lib*  /usr/local/cuda-10.2/lib64/

验证是否安装成功：

cat /usr/local/cuda-10.2/include/cudnn.h | grep CUDNN_MAJOR -A 2