spark基于standalone client模式提交任务流程

在这里插入图片描述
执行流程

  1. client 模式提交任务后,会在客户端启动 Driver 进程。
  2. Driver 会向 Master 申请启动 Application 启动的资源。
  3. Master 收到请求之后会在对应的 Worker 节点上启动 Executor
  4. Executor 启动之后,会注册给 Driver 端,Driver 掌握一批计算
    资源。
  5. Driver 端将 task 发送到 worker 端执行。worker 将 task 执行结
    果返回到 Driver 端。

特点:
当客户端提交多个spark application时,每个application都会启动一个driver,driver与集群有大量通讯,容易造成客户端网卡流量激增问题。这种模式适用于程序测试,不适用于生产环境,在客户端可以看到 task 的执行和结果。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值