深度学习环境配置_ubuntu18及以上

总体步骤

本文适用于 ubuntu18.04 及以上
因个人需求不同， 本篇博客只介绍前 安装前 6个步骤， 后面根据个人需求自行安装；

1. 升级内核 ubuntu ( 系统安装好过后， 先当前系统的);
2. chrome 浏览器；
3. nvidia-drivers
4. cuda,
5. cudnn；
6. anaconda;
7. sougouinput
8. clash ;
9. pycharm;
10. clion;
11. typora;
12. pytorch(1.7.1); torch 1.1x（SPyder）
13. TF 2.5;
14. virtualbox

1. 升级ubuntu内核 ubuntu

这里以 ubuntu 18.04 为系统；

首次安装后该系统后， 先打开software Updater , 将当前系统的5.4.0-110-generic内核版本更新到最新的，

这样做的目的， 是为了防止系统后续自己更新时， 导致nvidia_driver 的自动丢失；

2. 安装 chrome 浏览器；

sudo dpkg -i google_XXX_amd64.deb

3. nvidia-drivers

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#title-resolved-issues 在这个网站上，查看 cuda 版本对 nvidia-drivers 驱动版本的最低要求;

在安装 nvdia-drivers , cuda, cudnn 这三个之前， 先确定好两件事情；

1. 自己的电脑配置对应上面nvidia-drivers 驱动版本；

2. nvdia-drivers , cuda, cudnn这三个版本兼容关系；

3.1 确定自己的显卡型号

这里以 RTX 2060 为例，终端中，输入

lspci | grep -i vga

如果，笔记本正常会有两个；分别是intel 的核显和 Nvidia 的独显

在这个网站中输入，The PCI ID, 会查询到自己的显卡型号；

3.2 下载显卡驱动

1. https://www.nvidia.cn/geforce/drivers/ 登录该网站， 下载对应的显卡驱动；

3.3 禁用nouveau 驱动

禁用ubuntu18 自带的第三方的开源驱动程序nouveau 驱动；

1. 输入以下命令， 查看 nouveau 是否存在, 如果输出多项内容，表示启用了 nouveau;

lsmod | grep nouveau 

2. 禁用 第三方的开源驱动程序 nouveau，

sudo gedit /etc/modprobe.d/blacklist.conf  # 打开文件，在最后添加如下两行：

blacklist nouveau
options   nouveau  modeset = 0

3. 更新系统配置

sudo update-initramfs -u

4. 重启系统， （required）

sudo reboot

5. 验证是否禁用成功

lsmod | grep nouveau
# 如果没有输出，表面禁用成功；

3.4 安装nvidia-driver驱动

该驱动的安装， 使用到了 gcc, make 这两个工具， 故先安装好这两个；

sudo apt install gcc
sudo apt install make

1. 在ubuntu下按ctrl+alt+f5 ( f1~ f10 之间，各个PC 不同，退出时按ctrl+alt+f1 )进入命令行界面：

此时需要login：电脑账户名称，password：密码，登录到命令行界面。

2. sudo service lightdm stop //这个是关闭图形界面，必须关闭

3. sudo apt-get remove nvidia-* //卸载系统中存在的驱动，默认有安装的，一定要执行这个

4. chmod +x NVIxxxxx 给文件赋予可执行权限。

5. ` sudo ./NVIDIA-Linux-x86_64-xxx.run -no-x-check -no-nouveau-check -no-opengl-files ，

其中：
-no-x-check：安装驱动时关闭X服务
-no-nouveau-check：安装驱动时禁用nouveau
-no-opengl-files：只安装驱动文件，不安装OpenGL文件

以下为安装过程：

1、he distribution-provided pre-install script failed! Are you sure you want to continue?     
选择 yes 继续。

2、Would you like to register the kernel module souces with DKMS? This will allow DKMS to automatically build a new module, if you install a different kernel later?         
 选择NO继续

3、Would you like to run the nvidia-xconfigutility to automatically update your x configuration so that the NVIDIA x driver will be used when you restart x? Any pre-existing x confile will be backed up.  
选择 Yes  继续
————————————————

5. 安装成功后，在命令行输入：sudo service lightdm start //重启图形界面， 按Ctrl+Alt+F1返回图形界面

6. 终端中输入 nvidia-smi ， nvidia-setting//检测是否安装成功

注意: 如果稍后或者第二天， 重启电脑时， 出现循环登录的情况， 或者是输入密码后，卡在紫红色界面时，无法显示桌面环境时；

这是因为ubuntu对显卡的支持有关，由于内核与NVIDIA显卡驱动出现问题，使得启动的时候，无法代用NV显卡，造成了上述现象。

此时，请不要重新安装系统， 你之前所做的努力并没有白费；

循环登录， 或无法进入桌面， 参考这里

具体讲来， 执行下面三步骤即可

 1.  进入 advance ubuntu 中， 使用5.4.0.-42 内核进入系统，
   注意到刚刚是在5.4.0-90 上安装的nvidia-driver. 
如果没有之前的内核可以选择的话，直接进入 tty 文本界面，进行操作；
 3.  sudo  rm  /etc/X11/xorg.conf 
 4.  sudo reboot 

假如，过了一段时间， 系统在你不知道的时候，又更新出了新的内核； 也会出现上述情况；

解决方式：

sudo vim /etc/default/grub
修改如下，内容：
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
#修改为：
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nomodeset"

4. cuda 安装

这里需要理清 cuda 和 nvidia dirver 之间的关系，
cuda 需要满足最低版本的 nvidia driver ，
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#new-features 这是官方的对应关系
而pytorch 的某一版本，给出最高支持的cuda 的版本。

下载 cuda 版本 https://developer.nvidia.com/cuda-10.2-download-archive

4.1 cuda 版本选择

这里以 cuda 11. 2 版本， 安装在 ubuntu 18.04;

需要说明的是：
cuda10.2 版本, 将是 Pytorch 长期维护的一个 cuda版本；
所以使用Pytorch 的，可以安装这个版本；

当然, 电脑上可以同时安装两个版本的 cuda ,使用的时候,对其版本软链接切换，
具体方式,请自行搜索；

此外，由于(RTX 3090 for cuda --version >= 11.1) TensorFlow 2.5 需要 cuda11.2 版本的支持， 故这里先安装
cuda 11.2 ;

4.2 安装步骤

1. 给文件赋予执行权限，然后执行

sudo chmod +x cuda_11.2.3_450.51.06_linux.run
sudo ./cuda_11.2.3_450.51.06_linux.run
# 如果有协议，输入accept就行

2. 去除 nvidia-driver 的勾选， 需要把Driver给去掉，否则会报错。因为已经装了 Nvidia -Driver了，所以再次安装会起冲突;
   

4.3 配置环境变量

我们要让shell识别到cuda，需要在环境变量中加入对应路径变量。

注意安装成功后的提示：

Please make sure that: 
- PATH ... 
- LD_LIBRARY_PATH ...

使用gedit修改.bashrc文件。

sudo gedit ~/.bashrc
在最后一行加入路径：

export PATH="/usr/local/cuda-11.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"

保存之后，为了使这个修改立即生效，还需要输入如下代码（如果不执行 source 命令，则需重启系统才能生效）：

4.4 更新环境变量

source ~/.bashrc

# 新打开一个终端，输入
nvcc -V

4.5 安装多个版本　cuda

1. 如果在之前的基础上，再安装一个另一版本的　cuda, 比方说这里在另外安装一个cuda10.2,
   安装过程中，会自动更细cuda 的软链接。
   
   ,
2. 之后，更新环境变量中的配置~/.bashrc，
   
   使用gedit修改.bashrc文件。

sudo gedit ~/.bashrc
在最后一行加入路径：

export PATH="/usr/local/cuda-11.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"

将其中的cuda11.2 版本切换成　｀cuda10.2

然后更新，　环境变量。

source ~/.bashrc

# 新打开一个终端，输入
nvcc -V

解释一下shell，环境变量和路径变量这三个名词。

Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。换句话说，Shell是Linux/Unix的一个外壳，它负责外界与Linux内核的交互，接收用户或其他应用程序的命令，然后把这些命令转化成内核能理解的语言，传给内核，内核是真正干活的，干完之后再把结果返回用户或应用程序。

环境变量是当前环境下的参数或者变量，或者说是指在操作系统中用来指定操作系统的一些参数。

路径变量(PATH)是最常见的环境变量。
它的用途就是当用户要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下寻找此程序外，还要到PATH变量中指定的路径去寻找。用户可以通过设置PATH变量，来更方便地运行进程。例如，当我们在windows中将Python安装好后，如果直接在CMD中输入 python，它会提示：“Python不是内部或外部命令，也不是可运行的程序或批处理文件。”这时候我们就需要将Python中bin目录的路径加入到PATH变量中去。（如果你没有出现这个错误，说明安装程序已经自动帮你添加了路径变量。）[2]
那么问题来了，在Linux中如何配置路径变量呢？

Linux下配置环境变量最常用的两种方法：修改 ~/.bashrc或 /etc/profile。

~/.bashrc:该文件包含专用于某个用户的bash shell的bash信息，当该用户登录时以及每次打开新的shell时,该文件被读取。
另外，/etc/profile中设定的变量(全局)的可以作用于任何用户，而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量。

5. install cudnn；

cuDNN是基于CUDA的深度学习GPU加速库，有了它可以在GPU上完成高效的深度学习计算；

https://developer.nvidia.com/rdp/cudnn-archive
在该网站上 找到cuda对应版本的cudnn 下载， 如果下的是 .deb 格式， 参考这里安装；

5.1 替换自己版本

Before issuing the following commands, you’ll need to replace X.Y and 8.x.x.x with your specific CUDA and cuDNN versions.

下面的命令，注意替换成，自己的对应版本序号

5.2 cudnn安装指令

sudo dpkg -i libcudnn8_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-samples_8.1.1.33-1+cuda11.2_amd64.deb

5.3 测试 cudnn

$ cp -r /usr/src/cudnn_samples_v8/ $HOME
$ cd  $HOME/cudnn_samples_v8/mnistCUDNN
$ make clean && make

2. 如果make 时， 出现nvcc fatal : Failed to preprocess host compiler properties.

sudo apt-get install build-essential

3. 出现如下错误，

 `test.c:1:10: fatal error: FreeImage.h: No such file or directory
 #include "FreeImage.h"
 执行如下命令：
 
 sudo apt-get install libfreeimage3 libfreeimage-dev

4. 执行 ./mnistCUDNN`

until you see the Test passed!

6. 安装 anaconda;

1. 下载 Anaconda3.sh 安装包，

2. bash Anaconda3.sh

...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/sammy/.bashrc ? [yes|no]
[no] >>> 

选择 yes;

3. 在.bashrc 中更新 anaconda 的配置；

 source ~/.bashrc
# 新开一个终端中， 输入 
 conda list 
 # 检测是否安装成功；

5. 取消开启终端， 自动进入base 环境；

conda config --set auto_activate_base false

5. 如果需要 更新当前 Anaconda3.sh 版本， 使用

conda update --all

6. 新建一个虚拟环境

 conda create --name  torch1.7.1 python=3.7

7. 中文输入法

7.1 自带中文输入法

选择，系统自带的中文输入法；

重启电脑之后，可以看到中文输入法已经存在了，点击选择即可使用了，输入法看上去停像 sunpinyin，不管它了。

另外，Ubuntu20.04英文系统，中无法安装中文智能拼音输入法

问题原因：可能是因为系统中没有SCIM（智能通用输入法平台）只需要安装上即可：

sudo apt install  scim

如果要使用搜狗的话选择输入方式时请选择 XIM 方式。

7.2 sougou pinyin

这里以 ubuntu 20.04 安装 使用搜狗拼音，

1. 安装 fcitx 输入法

sudo apt install fcitx-bin
sudo apt-get install fcitx-table

2. 安装依赖

这步很关键，否则安装完成后，无法输入中文，

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2
sudo apt install libgsettings-qt1

3. 修复缺失或者损害的包 sudo apt-get install -f
4. sudo dpgk -i sogou_xxx_amd64.deb
5. 然后在 setings --> Region & Language 勾选 fcitx

6. 在右上角出现一个键盘标志，点击进入，选择
   Configure Current Input Method
   点击加号， 加入 搜狗拼音， 这里尤其需要注意的是， sogoupinyin 不能放在第一位， 放在第一个的应该是英文；
   

必须重启电脑
sudo reboot

8. pycharm;

1. 下载pycharm.tar.gz 压缩包， 将其放置到 /opt 路径下， 并对其解压；
2. 进入到pycharm-2020.1/bin/pycharm.sh，

sh  pycharm.sh

3. 创建 桌面快捷键

1.进入pycharm后点击"tools"
2.点击"Create Desktop Entry..." 
3. 重启 pycharm

想使用专业版，如果你是在校生，并且学籍在线， 登录学信网， 下载你的学籍证明； Jetbrain 公司会给你在学籍的每一年中，申请免费使用的权力；

9.pytorch(1.7.1);

安装 pytorch 1.7.1

先激活相关环境， 在该环境中安装：

conda activate torch1.7.1

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2

由于网速原因，可以登录网页上，进行自行下载， 然后在使用 pip install 安装；

登录该网页 `ctrl+f`  定位自己想要的文件；
https://download.pytorch.org/whl/torch_stable.html

注意， 发现一个很神奇现象：
在 pycharm 的终端中， 使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 与
ubuntu 中 使用同样的命令，
前者的网速会快很多倍！！！ 这是什么原因呢？

torch 1.1x（SPyder）

10. TF 2.5;

11. typora;

一款跨平台的写作软件

12. Boost-Note_local;

在 github 中搜索 boost-note-local;

下载 .deb 版本；
2. sudo dpkg - xx.deb

13. 科学上网 ;

有需求的请自行查阅；

14 虚拟机的安装

这里提供ubuntu 20.04 安装，由于ubuntu 18 的内核版本暂不支持virtualbox 6.1 以及以上的安装了

最近 Oracle 发布了 Virtualbox 7.0 的最新稳定版本，这是最新的主要更新，包含许多重大更改和新功能。

Virtualbox 7.0 中的新功能

• 通过命令行支持完整的虚拟机加密。
• 添加了对安全启动的支持。
• 添加了一个类似于“top”的新实用程序，它列出了正在运行的客户机的性能统计信息。
• 重新设计了新的虚拟机向导以集成无人值守的来宾操作系统安装。
• 用户界面有了很大的改进和更好看，虚拟机的设置也很流畅和容易。
• 改进了所有平台上的主题支持。
• 在基于 Ubuntu 的系统中安装 VirtualBox 7.0
• 要安装最新版本的 VirtualBox 7.0，我们将在您各自的发行版上使用以下命令使用官方 Virtualbox 存储库。

$ wget -q https://www.virtualbox.org/download/oracle_vbox_2016.asc -O- | sudo apt-key add -
$ wget -q https://www.virtualbox.org/download/oracle_vbox.asc -O- | sudo apt-key add -
$ sudo apt install software-properties-common
$ echo "deb [arch=amd64] https://download.virtualbox.org/virtualbox/debian $(lsb_release -sc) contrib" | sudo tee /etc/apt/sources.list.d/virtualbox.list
$ sudo apt update
$ sudo apt install virtualbox-7.0
$ virtualbox

在 Debian 系统中安装 VirtualBox 扩展包
VirtualBox Extension Pack 为 VirtualBox 添加了额外的基本功能，要使用它，首先使用以下 wget 命令下载它。

$ wget https://download.virtualbox.org/virtualbox/7.0.0/Oracle_VM_VirtualBox_Extension_Pack-7.0.0.vbox-extpack

现在打开 Virtualbox –> File –> Preferences –> Tools –> Extension Manager 并浏览 vbox-extpack 来安装它。