![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
congzi1984
这个作者很懒,什么都没留下…
展开
-
spark Yarn部署流程解析,核心运行机制
1、提交流程图 提交流程文字说明: 1、执行bin/spark-submit命令后,Client会组装commnd命令到yarn集群的ResourceManager。 commnd命令:bin/java org.apache.spark.deploy.yarn.ApplicationMaster,如果非集群模式就是bin/java org.apache.spark.deploy.yarn...原创 2020-02-08 17:20:13 · 811 阅读 · 0 评论 -
Spark Shuffer机制
1、概要 1)、从Stage划分,最后一个Stage称为ResultStage,前面被称为ShufferMapStage,一个ShufferMapStage结束会有一个写磁盘操作。 2)、Spark Shuffer分为Map和Reduce阶段,跟MapReduce不一样,有Map程序和Reduce程序 3)、ResultStage结束了,Shuffer一定会有读写磁盘,一个Job的运行就结束...原创 2020-02-09 23:18:08 · 436 阅读 · 0 评论