Spark参数有效配置

Spark参数配置有三种方式:

1.在编写代码的时候,通过创建SparkConf的时候,使用set方法配置.

2.动态加载:在使用spark-submit提交代码上集群的时候,通过spark-submit的参数进行配置,可以通过spark-submit --help指令查看能够配置的参数.

3.通过spark-default.conf配置文件配置.

如果配置的参数能够同时在这三种配置方法中有效的话,参数值优先度优先使用代码中直接调用SparkConf设置的参数,其次是spark-submit最后才是spark-default,没有设置的才使用默认值.

作用域：

1.仅在spark-default.conf中配置有效的参数

这类参数作用于Master和Worker的机器，在Spark第一次启动的时候生效，这就意味着和提交程序的客户端无关，这类参数通常在类Master.scala和Worker.scala中有源码，配置完需要重启Spark系统生效。

在Master.scala和Worker.scala中初始化过程使用到的参数,只能通过spark-default.conf配置,并且重启集群或重启对应的Worker之后才会生效

例如: