spark 性能调优

参数配置性能优化

（1）通过配置文件 spark-env.sh添加
可以参照spark-env.sh.template模板文件中的格式进行配置，参见下面的格式。
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_WEBUI_PORT=8088
export SPARK_WORKER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g

（2）在程序中通过SparkConf对象添加
如果是在代码中添加，则需要在SparkContext定义之前修改配置项的修改。例如：
val conf = new SparkConf（） .setMaster（"local"） .setAppName（"My
application"） .set（"spark.executor.memory"， "1g"）
val sc = new SparkContext（conf）

（3）在程序中通过System.setProperty添加
如果是在代码中添加，则需要在SparkContext定义之前修改配置项。例如：
System.setProperty（"spark.executor.memory"， "14