定制带第三方库的python,解决spark/hadoop环境中sklearn的调用问题

Conda, Miniconda (Python)这是一个python定制的好工具。忙活了一整天,终于发现了它,这个工具可以让我们定制python和对应的第三方的库,方便我们在不同机器上执行这些第三方的库。

http://scikit-learn.org/stable/install.html

conda/conda

https://github.com/conda/conda

Miniconda

http://conda.pydata.org/miniconda.html


Python 2.7 64-bit (bash installer)


Python3.4 64-bit (bash installer)


去官网下载它们的安装文件,然后利用命令安装(linux下,mac是图形界面),安装后有一个目录,里边有对应的文件夹,去bin下边,

列出你目前在那一個 conda 環境


>>> conda info

Note: 不要設定 PYTHONPATH, PYTHONHOME


>>> conda info -a # 會顯示這些環境變數的值

列出目前可用的 conda 環境


>>> conda info --env

建立一個乾淨的環境 (e.g. myenv)

>>> conda create -n myenv python

指定 Python 版本


>>> conda create -n myenv python=3.4

切換 conda 環境 (e.g. myenv)

切換環境


(手動) 設定 PATH 變數


$ export PATH=~/miniconda3/envs/myenv/bin/:$PATH

OR

$ source activate myenv

>>> source deactivate

安裝套件

在 myenv 環境下安裝 scipy


>>> conda install -n myenv scipy

OR

>>> source active myenv

>>> conda install scipy

在 myenv 環境安裝 pip


>>> conda install -n myenv pip

移除套件

>>> conda remove -n myenv scipy

OR

>>> source active myenv

>>> conda remove scipy

升級 conda

>>> conda update conda

Conda 環境 (一個特別的目錄)

conda 預設被裝在家目錄的 ~/miniconda (~/miniconda3)


ROOT_DIR

conda 被安裝的目錄

/pkg (PKGS_DIR)

/envs

conda 環境

/bin

/include

/lib

/share

Directory Structure

Configuration

$ tree miniconda3 -L 1

miniconda3

├── bin

├── conda-meta

├── envs

├── include

├── lib

├── LICENSE.txt

├── pkgs

├── share

└── ssl


我主要用它来构建分布式环境下的数据挖掘和机器学习的执行环境。由于一些原因,在服务器机组中没有安装第三方的机器学习的库,而这些库的性能又比mllib自带的要好,对我们而言它非常重要。这个时候,可以利用它打包python(带有第三方库)传到对应的机器上供调用,然后,利用这个python执行我们的代码。由于是分布式的环境,我们解压这个压缩包的时候一定要注意技巧。我的做法是,在driver上利用pipe执行一个sh脚本,脚本中,先判断是否有解压的目录,如果有就利用解压好的python执行我们的代码调用,没有就先解压,再调用。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值