Ubuntu训练环境的搭建

最近为了测试3080，来来回回重装了挺多次的Ubuntu
来个总结

安装Ubuntu

不论直接安装Ubuntu还是安装Windows和Ubuntu双系统，都需要启动盘，在此推荐软碟通。Ubuntu安装时基本是傻瓜式安装，需要注意的是双系统时的各个区的分盘：

• efi：大小约为200M，类型efi，逻辑分区，空间起始位置，用于安装启动启动项，必须有
• swap：大小为物理内存两倍，类型swap，逻辑分区，空间起始位置，Ubuntu的虚拟内存
• /：大小大约20G以上即可，类型ext4日志文件系统，主分区，空间起始位置，相当于C盘
• /home：剩下的全部，类型ext4日志文件系统，逻辑分区，空间起始位置，用于存放数据

环境配置

换源

要下载的地方就需要换源

对于Ubuntu系统的换源：

删除以下路径的文件中的内容（可以提前备份）

sudo gedit /etc/apt/sources.list

并改为（以下为清华源）

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse

deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse

deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse

deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse

deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

然后更新

source /etc/apt/sources.list

然后

sudo apt install update

对于install来说，apt与apt-get是一样的。此外要明白update与upgrade的区别。更新要先update再upgrade，当然主要的是update，有时候安装时报错没有该版本的包就是因为没有update。

对于Anaconda的换源：

首先要安装Anaconda，官网上下载很慢，可以在清华的镜像站下载，之后安装，一直回车就行，有的版本会提示你是否安装IDE：

bash Anaconda3-5.0.0-Linux-x86_64.sh

如果安装时没有默认添加环境变量：

sudo gedit ~/.bashrc
#最后一行添加
export PATH="/home/用户名/anaconda3/bin:$PATH"

换源：

# 以vi模式进行
vi ~/.condarc
# 直接打开文件
sudo gedit ~/.condarc

打开文件后添加源地址：

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - defaults

pip换源：

pip换源同Windows下的相同，在根目录下建立pip文件夹，并在其中创建一个有镜像网站路径的配置文件，不同的是，Windows下为pip.ini文件，Ubuntu下为pip.conf文件

sudo mkdir ~/.pip
sudo gedit .pip/pip.conf

添加内容为：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = pypi.tuna.tsinghua.edu.cn

SSH

Ubuntu通常是默认安装client端程序的，如果想将Ubuntu当作被SSH连接的服务端，需要安装：

sudo apt install openssh-server
sudo apt install openssh-client #客户端

ps -e | grep ssh #查看是否开启

ifconfig -a #查看ip地址

Ubuntu默认开启22端口。
对于在Windows上的SSH客户端，强烈推荐bitvise，既有命令行连接，也可以传文件。再也不用安装两个啦

git

首先安装：

sudo apt-get install git

然后配置

git config --global user.name "用户名"
git config --global user.email "邮箱地址"
ssh-keygen -C '邮箱地址' -t rsa # 一直敲三次回车即可

之后会在用户目录：~/.ssh下建立相应的密钥文件，之后进入到该目录打开文件

cd ~/.ssh/
gedit id_rsa.pub

将内容复制到GitHub

测试如果有hello即可

ssh -T git@github.com

其他

gcc、g++等可以通过以下命令安装：

sudo apt-get install build-essential libcap-dev

Ubuntu下，vscode、pycharm都可以使用，到官网下载.deb文件安装即可。

cuda、cudnn配置

最头疼的一部分。
首先要明确，要想使用N卡来训练，需要tensorflow、cuda、cudnn、驱动的版本都相互匹配。在tensorflow官方文档中有已经经过测试可用的各个版本的对应关系（以下为Linux环境下）：

对于驱动的版本，我们可以在下载的文件命名上看到该版本支持的最低显卡驱动版本号。

明确自己的要安装的版本，就可以开始安装了。

sudo sh cuda_10.1.243_418.87.00_linux.run

安装时可以将驱动卸载掉，然后安装时选上driver选项，或者单独在nvidia官网搜索驱动下载并安装，在安装cuda时不选择driver选项。我使用cuda带着的驱动安装时老容易出错。

之后添加环境变量：

sudo gedit ~/.bashrc 
#打开文件后添加内容
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

cuda可以安装多个版本，使用时将cuda与使用的版本建立软连接即可。

之后安装cudnn，安装cudnn时与Windows下道理相同，将文件复制到对应的文件夹下即可：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

在官网上下载cudnn时，将下载下来的文件后缀名改为tgz，然后再用相应解压命令解压即可。

tar zxvf 文件名.tgz

最新出的3080只支持cuda版本11.0，但是tensorflow的推出的稳定版本还并没有支持到该版本。但我们可以在pypi上搜索最新版本的但不是稳定版本的tf-nightly-gpu使用。该版本一天一次更新

注意如果换源以后再使用pip安装，pip install tf-nightly-gpu，并不会安装最新版本，此时我们需要在命令上加上pypi的网站地址，或者在该网站上下载下来该版本的包之后放到项目路径下进行安装。
之后训练就行了。