anaconda 配置pytorch_服务器深度学习化境配置(无sudo权限)

Author: Weiyang SHI
Date: 16/07/2019
Version: 0.1

环境配置往往是深度学习的第一步，在这个过程中经常会出现各种错误，本文将一步一步带你配置深度学习(以pytorch为例)环境。由于大家所处应用/研究领域不同，所以只包含了基础的环境配置。

通常来讲，服务器中的普通用户无sudo权限，本文基于Brainnetome服务器新建普通用户从零开始配置适用于医学影像与机器学习领域的Linux环境，文中包含XXX的路径请注意自行修改。

00.账号申请与修改密码

推荐使用Xshell或mobaxterm连接服务器

XShell​xshell.en.softonic.com

MobaXterm free Xserver and tabbed SSH client for Windows​mobaxterm.mobatek.net

连接账号后，输入命令passwd修改密码

修改密码

01. Anaconda 安装

由于服务器/home目录下存储空间有限，所有安装包、安装路径尽量修改为自己对应的/Data目录，安装完成后，如无特殊需要，请将下载的原始安装包删除，以减轻服务器存储压力(视所用服务器配置自行调整)。

wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

bash Anaconda3-2019.03-Linux-x86_64.sh

安装过程中，注意尽量修改安装路径，方便环境管理

修改anaconda安装路径

安装后注意检查是否添加至环境变量

02. CUDA 安装 (非root权限)

wget https://developer.nvidia.com/compute/cuda/10.1/Prod/local_installers/cuda_10.1.168_418.67_rhel6.run

chmod +x cuda_10.1.168_418.67_rhel6.run

./cuda_10.1.168_418.67_rhel6.run

安装过程中，由于无sudo权限，所以需要注意无法安装驱动，在安装驱动选项中如果错选yes，则可能导致安装失败，相应步骤建议按下图操作：

安装CUDA

03.cudnn安装

cudnn下载需要账号信息，建议下载后上传服务器

安装过程如下：

1. 进入cudnn所在路径，重命名：cp cudnn-10.1-linux-x64-v7.6.0.64.solitairetheme8 cudnn-10.1-linux-x64-v7.6.0.64.tgz
2. 解压：tar -xzvf cudnn-10.1-linux-x64-v7.6.0.64.tgz
3. 拷贝相关文件并赋予权限cp cuda/include/cudnn.h /DATA/XXX/XXX/env/cuda-10.1/includecp cuda/lib64/libcudnn* /DATA/XXX/XXX/env/cuda-10.1/lib64chmod a+r /DATA/XXX/XXX/env/cuda-10.1/include/cudnn.h /DATA/XXX/XXX/env/cuda-10.1/lib64/libcudnn*

04.Pytorch

按照先前配置的CUDA版本到pytorch官网查看安装命令

PyTorch​pytorch.org

执行Run this Command中的命令进行安装

安装完成后，打开python，运行import torch,无报错即安装成功；可能出现以下错误

ImportError: /usr/lib64/libstdc++.so.6: version CXXABI_1.3.8' not found

解决办法：将anaconda中的lib加入环境变量

首先查看anaconda内是否包含所需要的库文件，此处为CXXABI_1.3.8，执行命令

strings /DATA/XXX/XXX/env/anaconda3/lib/libstdc++.so.6 | grep 'CXXABI'

(根据anaconda安装路径自行修改)

输出如下：

因此只需要将anaconda的lib文件路径加入环境变量

vim .bashrc

export LD_LIBRARY_PATH=/DATA/XXX/XXX/env/anaconda3/lib:$LD_LIBRARY_PATH

执行source .bashrc更新环境变量

* 缺少其他文件可尝试采用类似的方式

* 其它深度学习框架(Tensorflow, MXNet等)安装方式与问题解决方式与pytorch类似

05.Jupyter Notebook配置

jupyter notebook --generate-config生成配置文件

进入ipython生成密码

In [1]: from notebook.auth import passwd                                                                                                                                                       
In [2]: passwd()                                                                                                                                                                              
Enter password:
Verify password: 
Out[2]: 'sha1:passwd'

复制密码，修改jupyter notebook配置文件

vim /home/XXX/.jupyter/jupyter_notebook_config.py

修改内容如下：

c.NotebookApp.ip = '*'
c.NotebookApp.notebook_dir = '/home/XXX/workplace'
c.NotebookApp.open_browser = False
c.NotebookApp.password = u'sha1:passwd'
c.NotebookApp.port = 8888

执行jupyter notebook后，正常运行，即可使用；

如出现socket.gaierror: [Errno -5] No address associated with hostname错误，则将配置文件中的c.NotebookApp.ip = '*'修改为c.NotebookApp.ip = '0.0.0.0'

06.开启深度学习之旅

至此，基础的环境已经配置好了，开始你的深度学习之旅吧！