![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
EctOil
这个作者很懒,什么都没留下…
展开
-
Spark源码解析4 - Shuffle过程分析
1.Shuffle过程 ShuffleMapTask -runTask *writer.write // 向磁盘上写文件 // 数据 >val partitionLengths = sorter.writePartitionedFile(blockId, tmp) // 索引 >shuffleBlockResolver.writeIndexFileAndCommit(dep.shuffleId, mapId, partitionLengths, tmp) 2原创 2020-09-10 23:48:48 · 105 阅读 · 0 评论 -
Spark源码解析3 - 提交Task到Executor
==提交Task到Executor= App->Job->Stage->Task 注:这里Driver、Executor已经都准备好了。 1.Driver端任务提交 org.apache.spark.scheduler.DAGScheduler --submitMissingTasks //每一个Task对应处理一个分区的数据,将多个Task放到TaskSet中进行提交 --taskScheduler.submitTasks(new TaskSet) //在Task之前,创建了T原创 2020-09-10 23:45:39 · 167 阅读 · 0 评论 -
Spark源码解析2 - Job以及任务调度过程
App->Job->Stage->Task 细节自己总结,分清各自数量与什么有关 此博客长期更新,感谢关注~ less is more原创 2020-09-10 23:38:43 · 127 阅读 · 0 评论 -
Spark源码解析1 - 将App部署到Yarn服务器
1.执行提交应用的命令 // An highlighted block bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ (client(默认) <=> cluster) ./examples/jars/spark-examples_2.11-2.4.5.jar \ 路径 10 \ 2.底层运行 bin/spark-class or原创 2020-09-10 23:34:58 · 100 阅读 · 0 评论