spark配置文件介绍

spark配置文件介绍
spark有很多参数，然后会有不同的配置文件，这里做一下介绍，也供自己以后查询。

1.spark properties：这个可以控制应用程序的绝大部分属性。并且可以通过SparConf对象挥着Java系统属性进行配置；

2.环境变量（Environment variable）：这个可以分别对每台机器单独进行相应设置，比如IP。这个可以在每台机器的spark-env.sh脚本中设置；

3.日志：所有日志相关的属性可以在log4j.properties文件中进行设置。

下面是对这三种属性设定的详细说明。

一、spark properties

可以通过一下三种方式设定：

1.通过SparkConf代码中直接指定：

val conf=new SparkConf()

.setMater(“local”)

.setAppName(“CountingSheep”)

.(“spark.executor.memory”,“1g”)

val sc=new SparkContext(conf)

2.通过spark-submit指定：

3.通过文件spark-defaults.conf指定。

假如三个地方中都指定了相同的参数，则判定顺序为：优先级最高的是通过SparkConf设定的，然后是spark-submit设定的，最后是spark-defaults.conf指定的。

二、环境变量

通过文件spark-env.sh设定

三、日志配置

通过log4j.properties指定，可以设置日志输出信息的级别以及日志路径。