spark性能调优之分配资源

spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节，在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：

/usr/local/spark/bin/spark-submit \

--class cn.spark.sparktest.core.WordCountCluster \

--num-executors 3 \ 配置executor的数量

--driver-memory 100m \ 配置driver的内存（影响不大）

--executor-memory 100m \ 配置每个executor的内存大小

--executor-cores 3 \ 配置每个executor的cpu core数量

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

首先要了解你的机子的资源，多大的内存，多少个cpu core，就根据这个实际情况去设置，能使用多少资源， 就尽量去调节到最大的大小（executor的数量，几十个到上百个不等；executor内存；executor cpu core）。

Spark Standalone 模式下，如果每台机器可用内存是4G，2个cpu core，20台机器，那可以设置：

20个executor；每个 executor4G内存2个cpu core。

yarn 模式下，根据spark要提交的资源队列资源来考虑，如果所在队列资源为500G内存，100个cpu core，那可以设置：

50个executor；每个executor10G内存2个cpu core。

调节资源后， SparkContext ， DAGScheduler ， TaskScheduler ，会将我们的算子，切割成大量的 task ，提交到 Application 的 executor 上面去执行。

增加每个 executor 的 cpu core ，也是增加了执行的并行能力。原本 20 个 executor ，每个才 2 个 cpu core 。能够并行执行的 task 数量，就是 40 个 task 。

现在每个 executor 的 cpu core ，增加到了 5 个。能够并行执行的 task 数量，就是 100 个 task 。 执行的速度，提升了 2.5 倍。

如果 executor 数量比较少，那么，能够并行执行的 task 数量就比较少，就意味着，我们的 Application 的并行执行的能力就很弱。

比如有 3 个 executor ，每个 executor 有 2 个 cpu core ，那么同时能够并行执行的 task ，就是 6 个。 6 个执行完以后，再换下一批 6 个 task 。

增加了 executor 数量以后，那么，就意味着，能够并行执行的 task 数量，也就变多了。比如原先是 6 个，现在可能可以并行执行 10 个，甚至 20 个， 100 个。那么并行能力就比之前提升了数倍，数十倍。 相应的，性能（执行的速度），也能提升数倍 ~ 数十倍。

增加每个 executor 的内存量。增加了内存量以后，对性能的提升，有两点：

1 、如果需要对 RDD 进行 cache ，那么更多的内存，就可以缓存更多的数据，将更少的数据写入磁盘，甚至不写入磁盘。减少了磁盘 IO 。

2 、对于 shuffle 操作， reduce 端，会需要内存来存放拉取的数据并进行聚合。如果内存不够，也会写入磁盘。如果给 executor 分配更多内存以后，就有更少的数据，需要写入磁盘，甚至不需要写入磁盘。减少了磁盘 IO ，提升了性能。

3 、对于 task 的执行，可能会创建很多对象。如果内存比较小，可能会频繁导致 JVM 堆内存满了，然后频繁 GC ，垃圾回收， minor GC 和 full GC 。（速度很慢）。内存加大以后，带来更少的 GC ，垃圾回收，避免了速度变慢，速度变快了。