执行流程
- client 模式提交任务后,会在客户端启动 Driver 进程。
- Driver 会向 Master 申请启动 Application 启动的资源。
- Master 收到请求之后会在对应的 Worker 节点上启动 Executor
- Executor 启动之后,会注册给 Driver 端,Driver 掌握一批计算
资源。 - Driver 端将 task 发送到 worker 端执行。worker 将 task 执行结
果返回到 Driver 端。
特点:
当客户端提交多个spark application时,每个application都会启动一个driver,driver与集群有大量通讯,容易造成客户端网卡流量激增问题。这种模式适用于程序测试,不适用于生产环境,在客户端可以看到 task 的执行和结果。