python-ray集群搭建

Ray简介

Ray是UC Berkeley RISE Lab新推出的高性能分布式执行框架，它使用了和传统分布式计算系统不一样的架构和对分布式计算的抽象方式，具有比Spark更优异的计算性能。Ray是一个基于Python的分布式执行引擎。相同的代码可以在单个机器上运行以实现高效的多处理，并且可以在群集上用于大量的计算。

Ray学习文档地址：
https://ray.readthedocs.io/en/latest/index.html

github地址：
https://github.com/ray-project/ray

近期，研究了其在python环境下集群的搭建，在此做个记录。

准备工作

系统准备

两台或两台以上ubuntu电脑

软件环境

python 3.7.9
ray 0.8.7

网络环境

两台电脑的ip分别为：
头节点：10.201.83.14
从节点：10.201.224.169
在两台电脑上均运行以下命令，以打开所有端口：

sudo iptables -P INPUT ACCEPT
sudo iptables -P FORWARD ACCEPT
sudo iptables -P OUTPUT ACCEPT
sudo iptables -F
sudo iptables-save

目前，官方文档里面的步骤只开放了6379端口，但实际上，还需要开放其他端口。但是，为并没有找到具体的需要开放的端口，这里就只能全部打开了。

搭建集群

头节点

ray start --head --port=6379

任选一台电脑作为头节点，首先激活含有ray的python环境，然后运行上述命令。执行结果如下图：