Linux环境下搭建深度学习环境

Linux环境下搭建深度学习环境

       其实最近有在学习一些公司的AI开发应用平台，很好用，傻瓜式的那种，不过毕竟是别人的环境很平台，而且需要收费，如果我们自己有不错的服务器资源，就应该尝试自己去搭建深度学习的环境了。

      记录一下我自己的经验，以及遇到的一些问题。

    

1.使用ssh命令登录服务器：
ssh -p 端口号 用户名@主机地址
登陆密码

 

2.CUDA-----https://www.cnblogs.com/godislight/p/10576045.html

CUDA Version 8.0.61----change to 9.2  ------ cat /usr/local/cuda/version.txt

3.资源的上传下载

scp -r -P 端口号 本地地址 用户名@主机:服务器路径     ------上传
scp -r -P 端口号 用户名@主机:本地地址     -------    下载

 

4.配置环境
安装python  https://blog.csdn.net/CZ626626/article/details/70944609  -------new operation
sudo apt-get update
sudo apt-get install python3.5
Y确认

安装pip
sudo apt-get install python3-pip
pip3 --version
pip3 list
pip3 list | grep Scrapy
出现报错----install: missing destination file operand after 'pip3'
whereis pip   -----search for pip

安装numpy
pip3 install numpy
pip3 list
python3

import numpy
exit()

安装scikit-image

pip3 install scikit-image -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

安装opcv

(apt-get update
apt-get -y upgrade)

pip3 install opencv-python
apt-get install libgtk2.0-dev -y

安装 torch-0.2.0 post3-op35-cp35m-manylinux1_x86_64.whl
pip3 install /home/bll/bll/torch-0.4.1-cp35-cp35m-linux_x86_64.whl
pip3 install torchvision
pip3 --default-timeout=100 install torch
pip install torch==1.5.0+cu92 torchvision==0.6.0+cu92 -f https://download.pytorch.org/whl/torch_stable.html

 

安装matplotlib
apt-get install python3-tk
pip3 install matplotlib
pip3 install nose
pip3 install pillow

安装-torchvision

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchvision
pip --default-timeout=100 install -i https://pypi.tuna.tsinghua.edu.cn/simple torchvision  

ubuntu16.04

1 未安装skimage模块

安装依赖（安装python3版本）：

sudo apt-get install python3-matplotlib python3-numpy python3-pil python3-scipy

sudo apt-get install build-essential cython

安装skimage

sudo apt-get install python3-skimage

 2 更新skimage

pip3 install scikit-image --upgrade

原文链接：https://blog.csdn.net/qq_40806289/article/details/84988331

 

 

出现各种奇葩报错的血泪处理经验：

1......locnle.Error
---------   export LC_ALL=C

 

2........添加系统路径时不小心ctrl+c
--------删除 .swp文件   出现提示时直接按大写D（elet） 删除即可

 

3........bash-----apt-get update /yum/wget
------apt-get update
------apt-get install vim

 

4.........no moudle name ....
import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')----这种处理方法还是比较麻烦，不能从根本上解决问题，不是我想要的结果，其实是安装环境时候没有处理好路径导致的

增加.pth文件【推荐】
在site-packages添加一个路径文件（假设你现在的python默认是：/usr/local/lib/python2.7/），
在 /usr/local/lib/python2.7/site-packages 路径下 新建一个文件 “mypkpath.pth”，文件里面的内容是 你想要加入的模块文件所在的目录名称。
例如：
新建文件：/usr/local/lib/python2.7/site-packages/mypkpath.pth
该文件内容：/usr/lib/python2.6/site-packages/
链接：https://www.jianshu.com/p/5e887aa5d88f

https://blog.csdn.net/ysj_csdn/article/details/84828339 --------    重新编译python这个很重要
./configure --prefix=/usr/bin/Python3.5.3 --with-scikit-image=/usr/local/lib/python3.6/site-packages   ---make----make install---

5..........read time out
pip --default-timeout=100 install magenta-gpu

6........路径LINUX
configure文件是一个可执行的脚本文件，它有很多选项，在待安装的源码目录下使用命令./configure –help可以输出详细的选项列表。

其中--prefix选项是配置安装目录，如果不配置该选项，安装后可执行文件默认放在/usr /local/bin，库文件默认放在/usr/local/lib，配置文件默认放在/usr/local/etc，其它的资源文件放在/usr /local/share 。

 

7.........安装scikit-imsge   报错显示istutils.errors.DistutilsError: Could not find suitable distribution for Requirement  ...
python3 -m pip3 install scikit-imsge  -i http://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com

pip3 install scikit-imsge  -i http://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com

----------important----------  pip3 install scikit-image -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

8.....查看安装包路径。。
pip show 包名字

9.....nvidia-smi
torch.cuda.empty_cache()