在离线服务器上创建深度学习虚拟环境

前言：

• 有些学校的服务器只能采用内网的方式进行访问，无法访问外界的互联网，所以环境所需的配置文件大多只能采用U盘拷贝或者ssh内网传送。
• 但是直接在离线的服务器上创建虚拟环境可能会出现一些问题，所以直接在可访问外网的本地客户机配置好相关的环境，在将环境传输到服务器上进行使用。

适用范围：

• 安装虚拟机Linux教程
• Linux平台下的Anaconda虚拟环境配置
• 离线服务器环境创建等

一、安装虚拟机

虚拟机安装过程可以参考这篇文章vmware虚拟机安装Ubuntu全过程
如果觉得虚拟机比较麻烦，那么大佬可以直接使用Window10平台下的Linux子系统安装，本文以虚拟机为例。

1.虚拟机软件和Ubuntu下载链接

VMware workstation虚拟机的链接阿里云盘下载和Ubuntu18.04的下载链接

2.注意事项

1安装的第16步中，“虚拟化CPU性能计数器”可以不选，选了后续可能会出bug。

2安装完成后系统界面过小如何解决：

第1步：安装开源软件  sudo apt-get install open-vm-tools
第2步：第二步 ：  sudo apt-get install open-vm*   ，安装后直接打开全屏即可。
若屏幕没有改变则重启一下即可。

3换源：换成国内源

第1步：vim /etc/apt/sources.list
第2步：在文本中添加下面的源链接

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

第3步：apt-get update

以上为虚拟机Linux安装部分，遇到问题百度解决。

二、Linux平台下Anaconda虚拟环境配置

1. Anaconda安装

第一步：首先在指定目录下下载Anaconda的Linux版本，在该网页链接中寻找自己所需的Anaconda版本，终端如下：

#注释：这是下载Anaconda3-2020.11-Linux-x86_64.sh版本的举例
wget https://repo.continuum.io/archive/Anaconda3-2020.11-Linux-x86_64.sh

第二步：安装Anaconda

Anaconda3-2020.11-Linux-x86_64.sh

第三步：检查Anaconda是否安装好

1. 打开终端输入：sudo gedit ~/.bashrc 
2. 在打开的文档中输入：export PATH="/home/peng/anaconda3/bin:$PATH" 
（上面的路径是自己的Anaconda装的路径，每个人不同，根据自己的环境情况进行比划）
3. 输入：source ~/.bashrc，令配置生效
4. 查看版本：conda --version
5. 输入python3，发现是Anaconda安装的版本

第四步：换源
在命令行中输入

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
pip config set global.index-url http://pypi.mirrors.ustc.edu.cn/simple/
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/ 

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

2. 配置自己所需的深度学习环境

• 方法：在本地客户机（个人PC）上联网配置深度学习环境，打包转移到目标服务器上。
• 个人建议：在这里我的想法是，程序可以先在本地微调，然后将程序所需要的环境直接打包，再到服务器当中去跑。在离线服务器上无法连接互联网装环境，所以不推荐在服务器上装环境。

第一步：创建虚拟环境，提供两个方法：
env_name 为自己定义的虚拟环境的名称

# 方法一：克隆一个环境 （优点是操作速度快，缺点是占用存储大）
conda create -n env_name  --clone base
# 方法二：重新创建一个新环境（优点是占用存储小，缺点是需要手动装所需的第三方库，python版本自己指定）
conda create -n env_name python=3.8 
# 激活环境：
conda activate env_name

第二步：安装所需要的库

备注：对于深度学习类的第三方库，不推荐直接conda install 或者pip install ，因为大概率会下到 cpu 版本的 torch，所以要先下载好whl文件进行下载，比如torch各个版本的下载界面torch各个版本的下载界面

# 下载好文件后
pip install torch-1.7.1+cu110-cp38-cp38m-linux_x86_64.whl 
pip install torchvision-0.8.1+cu110-cp38-cp38m-linux_x86_64.whl

第三步：测试安装情况

python
>>> import torch
>>> torch.cuda.is_available()
True  

3. 打包虚拟环境传送到服务器

第一步：然后将anaconda3/envs/env_name 进行打包

tar -cvf env_name.tar env_name/           #压缩虚拟环境

第二步：使用U盘或者ssh将压缩后的文件传输到服务器

第三步：将压缩包复制到服务器上的anaconda3/envs目录下，然后在这个目录下打开终端输入：

tar -xvf env_name.tar  # 解压

第四步：在服务器上添加深度学习环境到环境列表，最后在目标计算机修改conda的环境配置文件 ~/.conda/envirement.txt在尾部添加拷贝的环境目录

终端输入：vim ~/.conda/envirement.txt

输入的内容如下：

# 结合服务器的实际情况填写
/home/peng/anaconda3                   
/home/peng/anaconda3/envs/env_name

第五部：使用conda env list检查环境是否创建成功，使用conda activate env_name激活环境后可通过具体程序测试具体程序包是否安装成功

三、使用Pycharm远程连接服务器

不在赘述，网上的教程比较多，推荐这一篇《pycharm远程连接服务器完整教程》

四、附赠：常用的conda虚拟环境相关命令

#创建虚拟环境
conda create -n your_env_name python=X.X（3.6、3.7等）
 
#激活虚拟环境
source activate your_env_name(虚拟环境名称)
 
#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)
 
#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
 
#查看安装了哪些包
conda list
 
#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
 
#查看当前存在哪些虚拟环境
conda env list 
#或 
conda info -e
#或
conda info --envs
 
#检查更新当前conda
conda update conda
 
#更新anaconda
conda update anaconda
 
#更新所有库
conda update --all
 
#更新python
conda update python

参考博客

1. 离线搭建深度学习环境
2. ubuntu系统离线搭建深度学习环境
3. 2020-11-02-Ubuntu 20.04安装Anaconda3-卸载Anaconda3-笔记
4. pycharm远程连接服务器完整教程
5. vmware虚拟机安装Ubuntu全过程