spark性能调优（二）之资源调优

前言：
理解资源调优，说白了就是为spark程序提供合理的内存资源、cpu资源等。所以需要知道有哪些参数可以设置这些资源。

一、spark-submit脚本

–conf PROP=VALUE	手动给sparkConf指定相关配置，比如–conf spark.serializer=org.apache.spark.serializer.KryoSerializer
–properties-file FILE	如果配置项比较多，或者接收的配置是个文件，我们就可以使用这种文件
–driver-memory	driver程序内存大小，默认值1G
–executor-memory	每一个executor的内存大小，默认1G
–driver-cores	在standalone的cluster模式下面生效，driver的cpu core，因为在这种模式下面driver是有worker启动的，和executor一样在集群中运行。client模式下面driver不在spark集群中启动，也就不会占用spark集群的资源。
–total-executor-cores	在standalone的生效，总的executor的cpu core的个数
–supervise	**在standalone的cluster模式下面生效，如果driver启动失败，会有spark集群负责重新启动。**driver ha的配置的两个必不可少的条件：–deploy-mode cluster、–supervise
–executor-cores	在standalone和yarn模式的生效，每一个executor的cpu core个数。total-executor-core/executor-cores=executor的个数
–num-executors