【大数据开发 Spark】第五篇：模拟分布式计算：Client 的计算任务 Task 交给多个 Server 处理

前言：本文学习自尚硅谷的 Spark 教程

Spark 分布式计算模拟

1 先写一个简单的 CS 例子

1.1 客户端 Driver

1.2 服务端 Executor

1.3 启动测试

启动服务端 Executor

启动客户端 Driver 发送数据

服务端 Executor 接受到数据

2 Client 向一个 Server 发送计算任务 Task

2.0 计算任务 Task

2.1 客户端 Driver

2.2 服务端 Executor

2.3 启动测试

启动服务端 Executor

启动客户端 Driver 发送数据

服务端 Executor 接受到数据

3 Client 向多个 Server 发送计算任务 Task

3.0 计算任务单元 subTask

也要用到之前的 Task，因为 subTask 是执行单位，而 Task 是任务单位

3.1 客户端 Driver

3.2 服务端 Executor

3.3 启动测试

启动两个服务端服务端 Executor、Executor2

启动客户端 Driver 发送数据

服务端 Executor、Executor2 接受到数据