![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark源码
aiai20
这个作者很懒,什么都没留下…
展开
-
spark源码一:SparkSubmit解析
1、从spark-submit开始 spark程序入口为org.apache.spark.deploy.SparkSubmit 找到main方法 //spark程序执行入口方法 def main(args: Array[String]): Unit = { /* *实例化SparkSubmitArguments *该类主要用作封装spark-submit的提交参数 ...原创 2018-03-07 14:15:45 · 381 阅读 · 0 评论 -
spark源码二:yarn.client 客户端的调用流程
上次说到任务在submit的时候会根据,资源平台的不同,反射调用不同的类来调度任务,首先说下yarn的调度入口。 找到org.apache.spark.deploy.yarn.Client 总结下:client主要是初试话参数,封装RM为创建Application所需要的信息,最后通过RPC channel 向yarn发送启动ApplicationMaster的请求 //从main方...原创 2018-03-09 16:47:26 · 1903 阅读 · 0 评论