SparkLauncher类(java调用spark任务源码理解)

(1)通过launch()方法开启处理Spark app的进程   

(2) 点进createBuilder()方法中有两个比较重要的方法

(3) 点进findSparkSubmit()方法

  根据操作系统定位到  spark-submit(linux) 命令 相当于在服务器命令行输入spark-submit命令 

(4) 点进buildSparkSubmitArgs()方法

 主要是对用户填写的参数deployMode等和Conf设置的参数内容进行封装

(5).回到createBuilder()方法 将前面封装参数放入ProcessBuilder类中

并将env参数中指定的环境放入ProcessBuilder类

(6)回到launch()方法

 开启封装好参数的进程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值