- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark之任务调度（DagScheduler & TaskScheduler）
两种Scheduler 在创建SparkContext对象的时候，一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种： TaskScheduler（是低级的调度器接口）。TaskScheduler负责实际每个具体Task的物理调度。DagScheduler（是高级的调度）。DAGScheduler负责将Task拆分成不同Stage的具有依赖关系（包
2015-11-25 09:01:00
5589
原创 Spark之Job调度模式
用户通过不同的线程提交的Job可以并发运行，但是受到资源的限制。Job到调度池（pool）内申请资源，调度池会根据工程的配置，决定采用哪种调度模式。 FIFO模式 在默认情况下，Spark的调度器以FIFO（先进先出）方式调度Job的执行。每个Job被切分为多个Stage。第一个Job优先获取所有可用的资源，接下来第二个Job再获取剩余资源。以此类推，如果第一个Job并没
2015-11-18 16:59:43
5395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人