本文详细介绍了Spark的Client和Cluster两种运行模式的工作流程。在Client模式下，Driver进程在客户端启动并持续到应用结束；而在Cluster模式中，Driver在Worker进程中启动，客户端可立即退出。两种模式下，Master负责资源管理，Worker监控资源并向Master报告，Executor执行Task。Driver负责任务的划分和执行调度。
1.client mode: In client mode, the driver is launched in the same process as the client that submits the application..也就是说在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。
该模式下的工作流程图主要如下：
工作流程如下：
1.启动master和worker . worker负责整个集群的资源管理，worker负责监控自己的cpu,内存信息并定时向master汇报
694
303
3011
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
