- 博客(2)
- 资源 (13)
- 收藏
- 关注
原创 Spark作业执行流程
Spark作业执行流程Local模式运行Spark最简单的方法是通过Local模式(即伪分布式模式)。 运行命令为:./bin/run-example org.apache.spark.examples.SparkPi local基于standalone的Spark架构与作业执行流程Standalone模式下,集群启动时包括Master与Worker,
2015-09-21 19:54:01 1366
原创 Spark TaskScheduler和DagScheduler介绍
开始研究神奇的spark。会陆续将研究的心得放上来。 在Spark中一个核心的是模块就是调度器(Scheduler),在spark中Scheduler有两种TaskScheduler(是低级的调度器接口),DagScheduler(是高级的调度) 我们在创建SparkContext对象的时候,sparkcontext内部就会创建TaskScheduler和DagScheduler,
2015-09-02 13:50:37 504
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人