Spark作业性能调优——资源参数调优

一、分配更多资源

性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升是成正比的。写完了一个复杂的Spark作业之后，进行性能调优的时候，首先第一步，就是要调节最优的资源配置，在这个基础之上，如果说你的Spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限，那么才是考虑去做后面的这些性能调优的点。

1、分配哪些资源？

executor、每个executor的cpu core数量 、每个executor的memory大小、driver memory

2、在哪里分配这些资源？

    在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数。参数如下：

/usr/local/spark/bin/spark-submit \

--class cn.spark.sparktest.core.WordCountCluster \

--num-executors 3 \  配置executor的数量

--driver-memory 100m \  配置driver的内存（影响不大）

--executor-memory 100m \  配置每个executor的内存大小

--executor-cores 3 \  配置每个executor的cpu core数量

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

3、调节到多大，算是资源利用率最大呢？

① Spark Standalone，公司集群上，搭建了一套Spark集群，你应该了解每台机器还能够给你使用的资源情况，比如：大概有多少内存，多少cpu core，那么，设置的时候就根据这个实际的情况，去调节每个Spark作业的资源分配。比如说你的每台机器能够给你使用4G内存，2个cpu core；20台机器，如果设置executor数量为20个，那么每个executor就分配4G内存，2个cpu core。

② Yarn 资源队列，需要查看你要提交的yarn资源队列目前的资源剩余及使用情况，然后根据剩余可用的资源进行合理分配设置，比如：500G内存，100个cpu core，如果设置executor数量为50个，那么每个executor就平均最大分配10G内存，2个cpu core，你能使用的资源有多大，就尽量去调节到最大的大小。

4、为什么调节了资源以后，性能可以提升？

  ① 增加executor数量

如果executor数量比较少，那么，能够并行执行的task数量就比较少，就意味着，我们的Application的并行执行的能力就很弱。比如有3个executor，每个executor有2个cpu core，那么同时能够并行执行的task就是6个。6个执行完以后，再换下一批6个task执行。增加了executor数量以后，那么就意味着，能够并行执行的task数量，也就变多了。比如原先是6个，现在可能可以并行执行10个，甚至20个，100个，那么并行能力就比之前提升了数倍，相应的，性能（执行的速度），也能提升数倍~数十倍。

  ② 增加每个executor的内存大小

如果需要对RDD进行cache，那么更多的内存，就可以缓存更多的数据，将更少的数据写入磁盘，甚至不写入磁盘。减少了磁盘IO消耗。对于shuffle操作，在reduce端会需要内存来存放拉取的数据并进行聚合。如果内存不够，就会写入磁盘。如果给executor分配更多内存以后，可能就只需要将很少量的数据写入磁盘，甚至不需要写入磁盘，减少了磁盘IO，提升了性能。对于task的执行，可能会创建很多对象，如果内存比较小，可能会频繁导致JVM堆内存满了，然后频繁GC垃圾回收。内存加大以后，会很少的触发GC，提高了程序的运行速度。

  ③ 增加每个executor的cpu core

增加每个