北风网spark学习笔记
SparkConf、spark-submit以及spark-defaults.conf
- spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性,并传递给我们的spark应用程序
- 加载默认的配置属性,一大好处就在于,我们不需要在spark-submit脚本中设置所有的属性
- 比如说,默认属性中有一个spark.master属性,所以我们的spark-submit脚本中,就不一定要显式地设置–master,默认就是local
- spark配置的优先级如下: SparkConf、spark-submit、spark-defaults.conf
# 假设设置spark.default.parallelism参数,则采用SparkConf.set("spark.default.parallelism", "100")
SparkConf.set("spark.default.parallelism", "100")
spark-submit: --conf spark.default.parallelism=50
spark-defaults.conf: spark.default.parallelism 10
虽然说SparkConf设置属性的优先级是最高的,但是有的时候咱们可能不希望在代码中硬编码一些配置属性,否则每次修改了参数以后,还得去代码里修改,然后得重新打包应用程序,再部署到生产机器上去,非常得麻烦
所以一般使用spark-submit设置属性
-
在代码中仅仅创建一个空的SparkConf对象,比如:
val sc = new SparkContext(new SparkConf())
,然后可以在spark-submit脚本中,配置各种属性的值,比如:./bin/spark-submit \ --name "My app" \ --master local[4] \ --conf spark.shuffle.spill=false \ --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \ myApp.jar
spark.shuffle.spill, 如果是在代码中,
SparkConf.set("spark.shuffle.spill", "false")
来配置的
此时在spark-submit中配置了,不需要更改代码,就可以更改属性,非常得方便,尤其是对于spark程序的调优,格外方便,因为调优说白了,就是不断地调整各种各样的参数,然后反复跑反复试的过程
spark的属性配置方式
- spark-shell和spark-submit两个工具,都支持两种加载配置的方式
- 一种是基于命令行参数,比如上面的–master,spark-submit可以通过–conf参数,接收所有spark属性
- 另一种是从conf/spark-defaults.conf文件中加载,其中每一行都包括了一个key和value
比如spark.executor.memory 4g - 所有在SparkConf、spark-submit和spark-defaults.conf中配置的属性,在运行的时候,都会被综合使用,直接通过SparkConf设置的属性,优先级是最高的,会覆盖其余两种方式设置的属性,其次是spark-submit脚本中通过–conf设置的属性,最后是spark-defaults.conf中设置的属性
- 通常来说,如果你要对所有的spark作业都生效的配置,放在spark-defaults.conf文件中,只要将spark-defaults.conf.template拷贝成那个文,然后在其中编辑即可,对于某个spark作业比较特殊的配置,推荐放在spark-submit脚本中,用–conf配置,比较灵活
SparkConf配置属性,有什么用呢?也有用,在eclipse中用local模式执行运行的时候,那你就只能在SparkConf中设置属性了 - 在新的spark版本中,可能会将一些属性的名称改变,那些旧的属性名称就变成过期的了,此时旧的属性名称还是会被接受的,但是新的属性名称会覆盖掉旧的属性名称,并且优先级是比旧属性名称更高的
举例来说
shuffle reduce read操作的内存缓冲块儿
spark 1.3.0: spark.reducer.maxMbInFlight
spark 1.5.0: spark.reducer.maxSizeInFlight