Spark代码总结(1)

Sparkconf

Spark配置项类，SparkContext类接收配置项内容，控制驱动程序。

一旦Sparkconf对象被创建提交，它的内容不能被修改。Spark不支持动态配置SparkConf。

SparkConf定义了属性，setMaster是对spark.master的设置；setAppName是对属性spark.app.name的设置。

setMaster(String master)

定义Spark连接的master URL。如果设置"local"则单线程本地运行；设置"local[number]"则number个线程本地运行;设置"spark://master:7077"则运行在Spark standalone cluster。

setJars(String[] jars)

日志配置

conf目录下log4j.properties文件。

如果配置和整个Application相关的项，使用SparkConf类。

如果配置本机相关的项或者环境变量，使用spark-env.sh。

spark-submit总结

1.Spark-defaults.conf

编辑driver所在机器上的spark-defaults.conf，该文件会影响到driver所提交运行的application，及专门为该application提供计算资源的executor的启动参数。只需要在driver所在机器上编辑该文件，不需要在worker或者master上编辑。

2.spark-env.sh