- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Spark DAGScheduler模块源码解析(转自：http://guozhongxin.com/tag/spark.html）
Spark DAGScheduler的背景知识 Spark Application在遇到action算子时，SparkContext会生成Job，并将构成DAG图将给DAG Scheduler解析成Stage。Stage Stage是Spark对DAG的划分，以此作为对作业的进行任务（task）划分和调度的依据。 可以这样理解Stage不需要shuffle是可以随意并发的, 所以stage的边
2015-11-29 22:22:44
339
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人