spark性能优化

1、分配更多的资源

1.1、分配哪些资源

executor-memory、executor-cores、num-executor

1.2、在哪里设置这些资源

在生成环境中，提交spark任务时，使用spark-submit shell脚本，可以调整对应的参数
提交任务的脚本

spark-submit \
--master saprk://node01:7077 \
--class cn.tuyou.Wordcount \
--num-executor 3 \      //配置executor的数量
--driver-memory 5g \	//配置driver的内存（无太大影响）
--executor-memory 1g \  //配置每一个executor的内存大小
--executor-cores 3 \    //配置每一个executor的cpu个数

1.3、设置这些资源为什么能优化

提高executor-memory，能提高executor的内存大小，本质提高的读取文件的速度
提高executor-cores，能提高每个executor的cpu个数，本质增强的处理task的并行执行能力
提高num-executor，即提高集群部署的主机数量，这个是最有效的优化（有钱就是任性）