服务器安装管理软件——CentOS + Anaconda + pip + Numpy + PyTorch + TensorFlow

服务器的环境没有root不可以使用pip,但是是可以访问外网的,故改用Anaconda进行包安装与管理。

TensorFlow、CUDA、cuDNN 的版本匹配参考:https://blog.csdn.net/u011119817/article/details/88309256

-----------------------------------------

错误记录:

1、macOS用FileZilla传输脚本Anaconda3-2019.10-Linux-x86_64.sh到服务器上后,该脚本文件运行时总是报错:

文件行尾被写入了dos的换行符,用dos2unix也解决不了,最后再mac的命令行使用scp直接传文件到服务器上,scp传上去的文件就没有问题,可以正常运行,故这里应该是filezilla设置方面的问题,需要后面解决。

-----------------------------------------

1、安装Anaconda:

(1)地址:https://www.anaconda.com/distribution/#download-section

选择linux的版本下载下来,然后将下载下来的.sh文件上传服务器。

(2)新建目录 /home/wangxiaosu/local

(3)运行命令(在任何一个目录下执行下面命令都是可以的,在命令运行过程中,会与用户交互指定安装anaconda的目录)

bash Anaconda3-2019.07-Linux-x86_64.sh

将软件安装在目录 /home/wangxiaosu/local

将软件包备份在目录 /home/wangxiaosu/local/software

(4)配置Anaconda

这里直接运行了 source /home/wangxiaosu/.bashrc

安装Anaconda的时候,Anaconda的安装向导会自动将环境变量写到bashrc中,只需要同意其写即可。

参考:https://www.cnblogs.com/xiao-apple36/p/9052102.html

运行 conda list ,展示安装的软件即表示安装成功。

(5)卸载Anaconda

参考:https://blog.csdn.net/Dawn__Z/article/details/82698187

2、安装Numpy:

conda install numpy

如果有更新、前置依赖,需要多运行几次上面的命令

参考:https://blog.csdn.net/NCTU_to_prove_safety/article/details/88596863

3、安装 PyTorch:

(1)新建虚拟环境目录 pytorch1_2:

conda create -n pytorch1_2

2020-8-24日补充:

conda create -n pytorch1_2 python=3.7

在后面加上python=3.7指明需要安装的Python环境,这样就可以在创建该虚拟环境pytorch1_2的时候一同安装Python3.7环境。

参考:https://blog.csdn.net/a493823882/article/details/87888509

(2)进入环境pytorch1_2,安装pytorch v1.2.0:

conda install pytorch=1.2.0 cudatoolkit=9.2

限定cudatoolkit版本的原因参见 4中的注3

2020-8-24日补充:

(1)并不需要一同安装 cudatoolkit,因为在安装 pytorch=1.2的时候,anaconda会自己判断需要安装的依赖的包cuda和cudnn,以及对应的版本。无需自己指定需要安装的cuda和cudnn版本。这样在这个pytorch1_2的虚拟环境下,使用的pytorch版本为1.2,其对应的cuda和cudnn分别是该环境的版本。

(2)所以根据上面(1),我们对本地机器只需要安装NVIDIA版本的GPU驱动即可,后面的cuda和cudnn都在anaconda的虚拟环境中进行安装深度学习库的时候,anaconda会自动进行安装cuda和cudnn。

4、安装tensorflow v1.14.0:(我们准备安装TensorFlow的两个版本:v1.14.0 和 v.2.0.0;)

我们准备新建两个环境目录:tf1_14 和 tf2_0;分别将上面的两个版本安装在对应环境目录中;安装在各自环境目录下的TensorFlow版本之间是不会互相影响的,在不同目录环境下也是不可以互相访问其他环境目录安装的软件和版本的。

新建环境目录、列出当前环境目录信息、删除环境目录、激活环境目录、退出环境目录、在环境中安装某个软件、删除环境目录中某个软件、删除环境中所有python包、删除整个环境目录等,参考:

https://blog.csdn.net/howard2005/article/details/101897316

(1)新建安装 TensorFlow=v1.14.0 的目录:

conda create -n tf1_14

(2)激活(进入)tf1_14:

conda activate tf1_14

(3)在tf1_14中安装TensorFlow v1.14.0:

conda install tensorflow-gpu=1.14.0 numpy=1.16.5 cudatoolkit=9.2 (GPU版本)

注1:如果安装普通版本TensorFlow(即不支持GPU),直接将上述命令中的 tensorflow-gpu=1.14.0 换成 tensorflow=1.14.0

注2:限定 numpy=1.16.5 的原因:

numpy没有用最新版本1.17,是因为用最新版的1.17后,在导入import tensorflow时,会报警告:对类型声明的方式在新版numpy中有变化,所以把numpy降到1.16就行了。

警报内容大致是:

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'

注3:限定 cudatoolkit=9.2 的原因:

nvidia-smi 查看服务器GPU的信息,服务器上GPU的驱动按本号是:Driver Version: 396.44 

CUDA版本和GPU驱动的版本对应关系参考:https://www.jianshu.com/p/c9230101a272

故选择支持服务器GPU驱动的最大CUDA版本。

否则TensorFlow无法探测到GPU。

 

安装完成

5、安装tensorflow v.2.0.0:

可以参考:https://blog.csdn.net/u011119817/article/details/88309256

该步骤将清华的Anaconda镜像写到config文件中,发现没法用,后决定删除,删除参考:https://blog.csdn.net/silent56_th/article/details/78310772

直接使用 conda config --remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free' 好像还是没用。

(1)在Anaconda虚拟的环境下,可以先安装pip:

conda install pip

(2)使用pip安装tensorflow:

pip install tensorflow==2.0.0

查看TensorFlow版本:https://blog.csdn.net/qq_40614981/article/details/83035783

查看TensorFlow是否支持GPU:

import tensorflow as tf
tf.test.is_gpu_available()

参考:https://blog.csdn.net/u013249853/article/details/93162525

(目前安装2.0无法支持GPU,仍然是GPU驱动和cuda版本的匹配问题,从pip安装的tensorflow 2.0,用pip list 展示pip安装的包中没有cudatoolkit,但是仍然会报GPU驱动和cuda版本不匹配,是不是tensorflow 2.0集成了CUDA,目前没搞清楚?)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值