【记录】30分快速搭建机器学习和深度学习环境(tensorflow 1.x +2.x ,pytorch, mxnet ,sklearn ,xgboost ,lightgbm ,catboost...)

       由于换了台服务器,所以需要重新配置机器学习和深度学习环境,sklearn,tensorflow, mxnet都配置的比较顺利, 唯独pytorch在安装的时候会出现http错误(之前也遇到过,国外的源,网速问题),这里记录一下环境搭建的流程,方便下次直接移植命令。(提前要装好cuda和cudnn和anaconda3,以及conda pip 替换好国内源,比如清华源, 百度谷歌上很多很多,基本上一键安装,添加上环境变量就行,不再赘述)

机器学习环境

conda create -n ml python
activate ml
pip ......

主要几个库,sklearn, xgboost, lightgbm, catboost等等。。。全部pip就行了。

tensorflow

conda create -n tf1.x python
activate tf1.x
pip install tensorflow-gpu==1.14.0
conda create -n tf2.x python
activate tf2.x
pip install tensorflow-gpu

目前tf 2.0已经发布,直接pip tensorflow-gpu是默认装最新版2.0的,这里用两个环境,一个1.14.0的1.x系列(对应cuda 10.0 和cudnn 7.4),指定版本号就行,2.x环境就直接pip就行,目前还没用过2.0都tf,先码上。

mxnet

conda create -n mxnet python
activate mxnet
pip install mxnet-cu100

cu100是cuda 10.0版本,如果是9.0的cuda就是mxnet-cu90,9.2的cuda就是mxnet-cu92等。

pytorch

conda create -n pytorch python
activate pytorch

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0

唯一在安装pytorch的时候出现了一个错误,原因是官网设置的安装方式存在的一个坑:
pytorch官网
在这里插入图片描述
emmmmmm…,貌似和我的cuda10.0没有对应的,没关系,找之前的版本就行,在这里
在这里插入图片描述
用conda装还是pip,其实都一样啦,主要是我看官网这里的pip后面还有它的下载url,这明显是官网源啊,国外源,下载慢死了,用国内源下载它不香么(这装环境之前我把conda pip的源都换成清华源了,在这里),
对了,pytorch的清华源要单独加上去,和其他包的替换源不一样,看这里

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

pip我源都换了,当然也行,不过我看官网写了国外url不舒服,就用conda吧,看起来没有那个扎眼的网址。于是:

conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorch

出去上个厕所,回来看到HTTP错误?看到其他依赖包都在清华源中找到秒装,但是pytorch和torchvision这两个包还是在官网源中找到下载,what???
Google一下,原来发现官网指南中的 -c pytorch还是让你走官方通道,c==channels ?? [捂脸]
去掉就行了,就像上面代码块中的那样,这时候只剩下这两个包没装了,飞快的从清华源中找到并下载,大盖用时3分钟吧。

当然,我这里为了方便建立了好几个conda环境,你也可以都放到一个环境中,我之前就是那样。

其他的一些常用包也一并pip 了:

pip install numpy matplotlib pandas ......等等

这么多东西搭建完也很快,30分钟不到,网速没问题就行,毕竟国内源,不过有时候不是源的原因,而是服务器本身网络的原因,linux经常会这样,下到一半卡住了,所以超过一定时间还没数据接收它也会报错,一个办法是延长他的响应时间,比如安装sklearn:

pip install --default-timeout=1000 scikit-learn

只要是在这个时间内如果网络好上了就会继续安装,不会停止去报错的,如果这么长时间结束了还是报错,那就该检查一下网络的原因了。
以上。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值