linux中同时安装CUDA8.0和CUDA9.0

1.准备CUDA安装包
a. CUDA9.0下载：https://developer.nvidia.com/cuda-90-download-archive
建议选择使用 .run 文件安装，因为使用 .deb可能会将已经安装的较新的显卡驱动替换。

b. cuDNN7.0下载（需要注册账号，注意选择对应CUDA9.0的版本）：https://developer.nvidia.com/cudnn
对于cuDNN7.0的安装方式选项，我选择的是cuDNN v7.0.5 Library for Linux，对应于cudnn-9.0-linux-x64-v7.tgz文件，解压之后放到cuda-9.0文件夹中就可以。

c. 本机已经安装的版本是CUDA8.0和cuDNN5.1

2. 参考官方文档
CUDA（看左上角是不是CUDA9.0版本的文档，如果显示最新版本，需要去找旧的9.0版本）：https://docs.nvidia.com/cuda/archive/9.0/cuda-installation-guide-linux/index.html

cuDNN：https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#install-linux

3.开始安装
3.1 除了安装显卡选择no，还有一步要选择no（因为之前第一次安装cuda8.0，已经创建了/usr/local/cuda这个symbolic link，所以这里就没必要再创建一次了）：

Do you want to install a symbolic link at /usr/local/cuda? 
(y)es/(n)o/(q)uit: n

提醒：在第一次安装CUDA中，官方文档中重要的一步，在~/.bashrc文件中添加（对于64位系统）：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
如果是9.0版本CUDA，将8.0换为9.0

安装好后，/usr/local/下面有三个文件夹：cuda-8.0、cuda-9.0、cuda(这个是软链接)

接下来加入cuDNN

sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

多版本情况下需要将cuda文件夹替换成cuda-9.0文件夹：

sudo cp cuda/include/cudnn.h /usr/local/cuda-9.0/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-9.0/lib64
sudo chmod a+r /usr/local/cuda-9.0/include/cudnn.h /usr/local/cuda-9.0/lib64/libcudnn*

3.2 版本切换
把~/.bashrc下与cuda相关的路径都改为/usr/local/cuda/而不使用/usr/local/cuda-8.0/或/usr/local/cuda-9.0/
所以，此时~/.bashrc中应该是：

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

记住，cuda是symbolic link，所以想切换CUDA版本的时候只需要将cuda-8.0或cuda-9.0指向cuda就可以了。

更新配置

source ~/.bashrc

切换到CUDA9.0

rm -rf /usr/local/cuda #删除之前创建的软链接
sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda
nvcc --version #查看当前 cuda 版本

切换到CUDA8.0

rm -rf /usr/local/cuda #删除之前创建的软链接
sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda
nvcc --version #查看当前 cuda 版本

4.总结
1.本机安装好CUDA8.0+cuDNN5.1和CUDA9.0+cuDNN7.0。在/usr/local目录下两个文件夹cuda-8.0和cuda-9.0。
2.添加软链接cuda到PATH。
3.想用哪个版本的CUDA，就将哪个版本的CUDA链接到cuda。

参考：
https://www.cnblogs.com/wangmo/p/10901526.html