- 博客(2)
- 收藏
- 关注
原创 Spark之任务调度(DagScheduler & TaskScheduler)
两种Scheduler在创建SparkContext对象的时候,一个核心的是模块就是调度器(Scheduler),在spark中Scheduler有两种:TaskScheduler(是低级的调度器接口)。TaskScheduler负责实际每个具体Task的物理调度。DagScheduler(是高级的调度)。DAGScheduler负责将Task拆分成不同Stage的具有依赖关系(包
2015-11-25 09:01:00 5624
原创 Spark之Job调度模式
用户通过不同的线程提交的Job可以并发运行,但是受到资源的限制。Job到调度池(pool)内申请资源,调度池会根据工程的配置,决定采用哪种调度模式。FIFO模式 在默认情况下,Spark的调度器以FIFO(先进先出)方式调度Job的执行。每个Job被切分为多个Stage。第一个Job优先获取所有可用的资源,接下来第二个Job再获取剩余资源。以此类推,如果第一个Job并没
2015-11-18 16:59:43 5525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人