spark conf

通过设置SPARK_CONF_DIR，可以改默认的sparkconf目录
1、Spark properties ：设置application的参数，可以通过SparkConf和Javasystem properties
2、环境变量：conf/spark-env.sh
3、日志：log4j.properties
4、例子

./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

5、两种参数类型
（1）部署参数：spark.driver.memory和spark.executor.instances等，这些参数不受sparkconf和 cluster manager and deploy mode 影响，通过spark-defaults.conf和spark-submit设置
（2）运行时参数：spark.task.maxFailures

6、spark properties
（1）查看http://:4040
（2）Application Properties：

Property Name	值
spark.app.name
spark.driver.cores	在cluster模式下设置driver的数量，默认是1
spark.driver.maxResultSize	每个spark action操作的所有partition的序列化的结果的大小，默认是1g
spark.driver.memory	driver的内存，默认1g，但是在client模式下，不能通过sparkconf设置
spark.executor.memory	executor的内存，默认1g
spark.local