python查询启动进程的cpu核心_Ray进程布局一览

可能标题有点让人困惑，其实我是想知道，在一个标准的ray集群，到底都有哪些进程存在。比如spark运行在yarn上，那么整个物理集群上会有如下几类进程：

1. 首先yarn的ResourceManager 和 NodeManager。他们负责启动Spark集群。
2. Spark有 driver 和executor进程。如果用的是pyspark,那么每个executor一般后面还会接一个python deamon以及多个Python worker。

如果以进程为粒度，我们把镜头拉高去看一个spark 实例，那么大概能看到上面这些进程。

现在我们来看看ray, ray可以用ray命令在不同的机器上启动节点。首先这些机器启动的都是一个python 进程，在ray术语里，他们都是node。 node 分为head 和 普通node，区别在于head 进程会启动一些提供全局服务的进程。这些node核心使命就是启动各种其他进程。

假设你有五台服务器A,B,C,D,E 经过第一波操作，你就至少有五个Python进程了。

接着 假设A是head,那么A会启动

1. redis进程
2. raylet（调度和资源）
3. 监控进程(订阅redis,当其他进程挂掉了，负责清理全局状态中的信息)
4. WebUI 进程
5. raylet监控进程(raylet会发心跳给监控进程)
6. plasma_store(分布式存储)
7. 和CPU资源一致的Python/Java 进程，这些进程很简单，就是等待raylet提交分配的任务然后执行。通常一个进程不会并发执行任务，这主要是Python并不提适合并发执行任务。

B,C,D,E上会启动：

1. plasma_store(分布式存储)
2. raylet（调度和资源）
3. 日志监控
4. raylet 监控(raylet会发心跳给监控进程)
5. 和CPU资源一致的Python/Java 进程，这些进程很简单，就是等待raylet提交分配的任务然后执行。通常一个进程不会并发执行任务，这主要是Python并不提适合并发执行任务。

raylet这个名字似乎有点学k8s的味道，该进程主要是C++开发的。所以理论上，ray是支持多client的，这些进程一旦启动完毕，意味着大家都可以通过 ray.init()连接到集群，并且提交书写和提交任务。

通过上面分析，我们可以知道，即使是单机的话，启动的进程也不少的。

另外值得说一说的是，ray有两个存储，redis和plasma, redis用来存一些全局消息，比如序列化后的函数，类，objectId,还有订阅的功能。plasma则主要是为了存储task需要用到的数据，可以理解为一个共享存储，方便不同进程里的task交互数据。早先task（actor）和task(actor)之间交互交互都需要经过raylet做中转，现在可以直接direct call,也就是我们说的他们之间可以直接互相通讯。