python搭建分布式集群_利用python的dask搭建分布式集群

一、dask介绍

优势：dask内部自动实现了分布式调度、无需用户自行编写复杂的调度逻辑和程序；通过调用简单的方法就可以进行分布式计算、并支持部分模型的并行化处理；内部实现的分布式算法：xgboost、LR、sklearn的部分方法等

用一句话说：dask就是python版本的spark,是一个用Python 语言实现的分布式计算框架

二、dask安装

1.环境

建议使用：Anaconda3工具包

系统：windows、linux

2.安装

1.conda安装：conda install dask

2.pip 安装：pip install dask

3.source安装：

git clone dask/dask

cd dask

python setup.py install

3.分布式版安装

1.conda安装：conda install dask distributed-cconda-forge

2.pip 安装：pip install dask distributed --upgrade

3.source安装：

git clone https://github.com/dask/distributed.git

cd distributed

python setup.py install

三、dask集群搭建

1.启动主节点(类似注册中心)

本人实验环境：一台windows机器+3台虚拟化linux服务器，并4台机器均已按照上面步骤安装配置dask

选择Wi