Spark任务调度和资源分配

Spark任务调度和资源分配

1、Spark调度模式 FIFO和FAIR

    Spark中的调度模式主要有两种：FIFO和FAIR。
    默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。
    而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。

2、资源分配概述

• spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节，在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：

spark-submit \
--class cn.spark.sparktest.core.WordCountCluster \
--num-executors 3 \ 配置executor的数量
--driver-memory 100m \ 配置driver的内存（影响不大）
--executor-memory 100m \ 配置每个executor的内存大小
--executor-cores 3 \    配置每个executor的cpu core数量
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

3、如何分配资源

• 首先要了解你的机子的资源，多大的内存，多少个cpu core，就根据这个实际情况去设置，能使用多少资源，就尽量去调节到最大的大小（executor的数量，几十个到上百个不等；executor内存；executor cpu core）。一个cpu对应2-3task合理

  • Standalone 模式

    • 如果每台机器可用内存是4G，2个cpu core，20台机器，

    • 那可以设置：20个executor，每个executor4G内存，2个cpu core（资源最大化利用）。

  • yarn 模式下

    • 根据spark要提交的资源队列资源来考虑，如果所在队列资源为500G内存，100个cpu core。

    • 可以设置50个executor；每个executor10G内存2个cpu

• 调节资源后，SparkContext，DAGScheduler，TaskScheduler，会将我们的算子，切割成大量的task，提交到Application的executor上面去执行。

4、分配资源策略

• * 给application分配资源选择worker（executor），现在有两种策略* ：

  • 尽量的打散，即一个Application尽可能多的分配到不同的节点。这个可以通过设置spark.deploy.spreadOut来实现。默认值为true，即尽量的打散。（默认）

  • 尽量的集中，即一个Application尽量分配到尽可能少的节点。

5、分配资源分析

• 增加每个executor的cpu core，也是增加了执行的并行能力*。原本20个executor，每个才2个cpu core。能够并行执行的task数量，就是40个task。

  • 如果现在每个executor的cpu core，增加到了5个。能够并行执行的task数量，就是100个task。执行的速度，提升了2.5倍。

  • 如果executor数量比较少，那么能够并行执行的task数量就比较少，就意味着，我们的Application的并行执行的能力就很弱。

    • 比如有3个executor，每个executor有2个cpu core，那么同时能够并行执行的task就是6个。6个执行完以后，再换下一批6个task。

  • 增加了executor数量以后，那么就意味着能够并行执行的task数量，也就变多了。比如原先是6个，现在可能可以并行执行10个，甚至20个，100个。那么并行能力就比之前提升了数倍，数十倍。相应的，性能（执行的速度），也能提升数倍~数十倍。

• 增加每个executor的内存量*。增加了内存量以后，对性能的提升有几点：

  • 如果需要对RDD进行cache，那么更多的内存，就可以缓存更多的数据，将更少的数据写入磁盘，甚至不写入磁盘。减少了磁盘IO。

  • 对于shuffle操作，reduce端，会需要内存来存放拉取的数据并进行聚合。如果内存不够，也会写入磁盘。如果给executor分配更多内存以后，就有更少的数据，需要写入磁盘，甚至不需要写入磁盘。减少了磁盘IO，提升了性能。

  • 对于task的执行，可能会创建很多对象。如果内存比较小，可能会频繁导致JVM堆内存满了，然后频繁GC，垃圾回收， GC和full GC。（速度很慢）。内存加大以后，带来更少的GC，垃圾回收，避免了速度变慢，速度变快了。

请关注我的公众号：