spark之5：配置文件

spark之5：配置文件

@(SPARK)[spark]

一、spark的参数设置方式

1、spark配置文件加载顺序

spark按以下优先级加载配置文件：
（1）用户代码中显式调用set()方法设置的选项
（2）通过spark-submit传递的参数
（3）配置文件中的值
（4）spark的默认值

以下会分别介绍各种方式。

2、set()方法

val conf = new SparkConf()
conf.set(“spark.app.name”, “ljh_test”)
conf.set(“spark.master”,”yarn-client”)
val sc = new SparkContext(conf)

3、spark-submit方式

bin/spark-submit
–class com.lujinhong.MyTest
–master yarn-client
–name “ljh_test”
myTest.jar

4、配置文件的方式

（1）spark-defaults.conf

主要是指conf/spark-defaults.conf，如：

# For monitoring
spark.eventLog.enabled           true
spark.eventLog.