开始跑深度学习之前,肯定得经历安装环境的痛苦。本人在开始接触深度学习之时,特别是在用实验室服务器跑程序时,一大痛点就是对Linux不懂,如何安装Github上代码要求的框架及其对应的gpu版本(如tensorflow、pytorch),完全懵的。安装过程各种报错然后百度csdn等等,以下就是个人的一些总结,希望对像我一样刚开始炼丹的人有一些帮助。
1、在服务器上安装CUDA9.0、cuDNNv7.3.0、tensorflow-gpu1.2过程
这里就给出一些大佬的博客,本人也是按照其中步骤安装好的
https://blog.csdn.net/ws995339251/article/details/85699172
https://blog.csdn.net/azeyeazeye/article/details/90199915
链接服务器,在命令行输入conda/pip/ install 包名,表示安装某种三方函数包。如果安装的包很大,可以先去网站上下载对应函数包的文件(一般是.sh/.whl文件),然后将下载后的文件上传到服务器(上传到的路径为当前终端Xshell所在的路径下),最后在命令行输入:conda/pip/sh install 包名+文件后缀。
2、配置环境变量
这个步骤也很重要,少了这个步骤,到时候你import框架时会报错,就是因为安装后没有给它配置环境变量,即需要打开.bashrc文件对其进行相应的操作。
~$sudo vim ~/.bashrc 打开.bashrc,对其进行相应的操作
打开.bashrc文件后,有:只读方式打开([O]), 直接编辑((E)), 恢复(®), 删除交换文件((D)), 退出((Q)), 中止((A))方式,键入相应的字母进行文件编辑。开始给文件编辑时,需要键入字母A(或a)进入插入状态。如果修改完需要退出,要先Esc退出编辑模式,然后再输入以下命令:
:wq 保存后退出vi,若为 :wq! 则为强制储存后退出(常用)
:w 保存但不退出(常用)
:w! 若文件属性为『只读』时,强制写入该档案
:q 离开 vi (常用)
:q! 若曾修改过档案,又不想储存,使用 ! 为强制离开不储存档案。
:e! 将档案还原到最原始的状态!
3.虚拟环境
由于经常会遇到不同框架及其不同版本要求的代码,所以我们最好建立一个虚拟环境,然后再在这个虚拟环境下安装各种框架。
$conda create –n my_env_name python=X.X 创建python版本为X.X、名为my_env_name的虚拟环境
$source/conda activate my_root #激活上面克隆的环境
$source/conda deactivate my_root #关闭虚拟环境
以下为一些零散的知识点:
$sudo chmod –R 777 路径 授权访问某个地址
~$python
import tenorflow as tf
tf.__file__ #查看安装的包的文件所在路径
tf.__version__ #查看安装的包的版本
(env)$ pip freeze >requirements.txt 将当前虚拟环境下的三方包函数版本信息写入一个txt文本
(env)$ pip install -r requirements.txt 安装上述的各种环境
由于墙的存在,直接从官网下载速度会特别慢而且经常容易失败,因而在下载之前第一步要做的就是更换源为国内的源,比较常用的有清华源、中科大、豆瓣、阿里等,推荐清华的源。命令行可以输入如下命令:
(env):~$ pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple
(-i https://pypi.doubanio.com/simple/,
-i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com)
安装某个框架(GPU版)
$ conda create –n my_env_name python=X.X #创建python版本为X.X、名为my_env_name的虚拟环境
$ source/conda activate my_ root #激活上面克隆的环境
然后去官网查看要下载的对应的CUDA、cuDNNv、框架(如tensorflow、pytorch)文件,然后pip安装相应的下载的文件。
(env):~$ pip install 安装显卡
(env):~$pip install 框架包文件
(一般先创建一个虚拟环境,然后激活这个环境,在这个环境下安装相应的框架)
Error
1、source activate my_env 失败,source not found(以安装anaconda3为例)
先看安装的包是否加入到系统的环境变量中,即在 ~/.bashrc中确保是否有 export PATH="/home/name/anaconda3/bin:$PATH",如果存在,则执行以下代码:
. ~/anaconda3/etc/profile.d/conda.sh
conda activate base