首先,先看一幅图
以上图中有四个机器节点,Driver 和 Worker 是启动在服务器节点上的进程,这些进程都运行在 JVM 中。
上述图的运行步骤:
- Driver 与集群节点之间有频繁的通信。
- Driver 负责任务(tasks)的分发和结果的回收、任务的调度。如果 task的计算结果非常大就不要回收了,会造成 OOM(内存溢出)。
- Worker 是 Standalone 资源调度框架里面资源管理的从节点,也是JVM 进程。
- Master 是 Standalone 资源调度框架里面资源管理的主节点。也是JVM 进程。