![ec724a400ecccecaa80375c78dd3f2f0.png](https://i-blog.csdnimg.cn/blog_migrate/410007b71c78052ebc6ebb64ef0630cf.jpeg)
Author: Weiyang SHI
Date: 16/07/2019
Version: 0.1
环境配置往往是深度学习的第一步,在这个过程中经常会出现各种错误,本文将一步一步带你配置深度学习(以pytorch为例)环境。由于大家所处应用/研究领域不同,所以只包含了基础的环境配置。
通常来讲,服务器中的普通用户无sudo权限,本文基于Brainnetome服务器新建普通用户从零开始配置适用于医学影像与机器学习领域的Linux环境,文中包含XXX的路径请注意自行修改。
00.账号申请与修改密码
推荐使用Xshell或mobaxterm连接服务器
XShellxshell.en.softonic.com![7563ac7609de39203cccb3b5d147aeb2.png](https://i-blog.csdnimg.cn/blog_migrate/59aa5e1c62009671c386f86533a0aa4e.jpeg)
![39b6e5d661003403be6da3fbc4d7e6a7.png](https://i-blog.csdnimg.cn/blog_migrate/c8bc241e463410e3566eeb0375be45a5.png)
连接账号后,输入命令passwd
修改密码
![28181d75f018bd664f19e3a55ef4af61.png](https://i-blog.csdnimg.cn/blog_migrate/94a94a3445bdd985b1954832844c3b84.png)
01. Anaconda 安装
由于服务器/home
目录下存储空间有限,所有安装包、安装路径尽量修改为自己对应的/Data
目录,安装完成后,如无特殊需要,请将下载的原始安装包删除,以减轻服务器存储压力(视所用服务器配置自行调整)。
wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh
bash Anaconda3-2019.03-Linux-x86_64.sh
安装过程中,注意尽量修改安装路径,方便环境管理
![fc7b42ad96df8cd752f4826b724ac127.png](https://i-blog.csdnimg.cn/blog_migrate/afd6c54de17d429720cde5164dd43307.png)
安装后注意检查是否添加至环境变量
02. CUDA 安装 (非root权限)
wget https://developer.nvidia.com/compute/cuda/10.1/Prod/local_installers/cuda_10.1.168_418.67_rhel6.run
chmod +x cuda_10.1.168_418.67_rhel6.run
./cuda_10.1.168_418.67_rhel6.run
安装过程中,由于无sudo权限,所以需要注意无法安装驱动,在安装驱动选项中如果错选yes,则可能导致安装失败,相应步骤建议按下图操作:
![256730fc34de2e007af1a26ca1d619dc.png](https://i-blog.csdnimg.cn/blog_migrate/bde25b7b5d5be7d0bff00ccd07ff8aac.jpeg)
03.cudnn安装
cudnn下载需要账号信息,建议下载后上传服务器
安装过程如下:
- 进入cudnn所在路径,重命名:
cp cudnn-10.1-linux-x64-v7.6.0.64.solitairetheme8 cudnn-10.1-linux-x64-v7.6.0.64.tgz
- 解压:
tar -xzvf cudnn-10.1-linux-x64-v7.6.0.64.tgz
- 拷贝相关文件并赋予权限
cp cuda/include/cudnn.h /DATA/XXX/XXX/env/cuda-10.1/include
cp cuda/lib64/libcudnn* /DATA/XXX/XXX/env/cuda-10.1/lib64
chmod a+r /DATA/XXX/XXX/env/cuda-10.1/include/cudnn.h /DATA/XXX/XXX/env/cuda-10.1/lib64/libcudnn*
04.Pytorch
按照先前配置的CUDA版本到pytorch官网查看安装命令
PyTorchpytorch.org![423b782163408e4b12fb41a76f5f0476.png](https://i-blog.csdnimg.cn/blog_migrate/19c8ac606493b8ddb65f4dea2ba3cc16.png)
![83c6d52d1ea0e9cd5cd253375aee8f26.png](https://i-blog.csdnimg.cn/blog_migrate/2bee9bb30b2d26f1859be04f5fa1cb5c.jpeg)
安装完成后,打开python,运行import torch
,无报错即安装成功;可能出现以下错误
ImportError: /usr/lib64/libstdc++.so.6: version CXXABI_1.3.8' not found
解决办法:将anaconda中的lib加入环境变量
首先查看anaconda内是否包含所需要的库文件,此处为CXXABI_1.3.8,执行命令
strings /DATA/XXX/XXX/env/anaconda3/lib/libstdc++.so.6 | grep 'CXXABI'
(根据anaconda安装路径自行修改)
输出如下:
![85d15bdcc5b98fc00ac64e5a15630563.png](https://i-blog.csdnimg.cn/blog_migrate/472237a4a6aa86ac6ccbc4f16fe02997.png)
因此只需要将anaconda的lib文件路径加入环境变量
vim .bashrc
export LD_LIBRARY_PATH=/DATA/XXX/XXX/env/anaconda3/lib:$LD_LIBRARY_PATH
执行source .bashrc
更新环境变量
* 缺少其他文件可尝试采用类似的方式
* 其它深度学习框架(Tensorflow, MXNet等)安装方式与问题解决方式与pytorch类似
05.Jupyter Notebook配置
jupyter notebook --generate-config
生成配置文件
进入ipython生成密码
In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:passwd'
复制密码,修改jupyter notebook配置文件
vim /home/XXX/.jupyter/jupyter_notebook_config.py
修改内容如下:
c.NotebookApp.ip = '*'
c.NotebookApp.notebook_dir = '/home/XXX/workplace'
c.NotebookApp.open_browser = False
c.NotebookApp.password = u'sha1:passwd'
c.NotebookApp.port = 8888
执行jupyter notebook
后,正常运行,即可使用;
如出现socket.gaierror: [Errno -5] No address associated with hostname
错误,则将配置文件中的c.NotebookApp.ip = '*'
修改为c.NotebookApp.ip = '0.0.0.0'
06.开启深度学习之旅
至此,基础的环境已经配置好了,开始你的深度学习之旅吧!