Spark（二十九）Spark属性配置

静态配置Spark属性

静态配置属性指的就是我们可以在代码中利用SparkCof中的set()方法来设置Spark的属性，set()方法接受接受的键值对SparkConf.set(key,value)。具体的键值对是什么，下文会有介绍。

 def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local").setAppName("RDDTest")
    sparkConf.set("spark.executor.memory","10g")
    val sc = new SparkContext(sparkConf)
  }

动态配置Spark属性

所谓的动态配置Spark属性，其实就是我们在Driver端运行spark-submit的时候指定具体的Spark参数属性。

Spark属性

Spark属性我们可以分为应用程序属性、运行环境属性、Shuffle行为属性、Spark UI属性、压缩合序列化属性、内存管理属性、执行行为属性、网络属性、调度属性、动态分配属性、安全策略属性、SparkSQL配置。SparkStreaming配置

应用程序属性

应用属性是Spark应用程序中必要的参数属性，这些属性大多数都具有合理的默认值。具体应用属性如下表所示。

属性名	默认值	解释
spark.app.name	None	你的spark应用程序的名字，这个名字可以出现在日子里或者UI界面上
spark.dirver.cores	1	在spark集群中，为每个Driver分配的CPU核数
spark.driver.maxResultSize	1g	spark操作所有分区的序列化结果的总限制大小，如果大小超出这个限制，则中止作业。，这样可以保护驱动驱动程序内存不足。
spark.driver.memory	1g	指定驱动程序的内存容量
spark.executor.memory	1g	分配给每个Executor的内存容量
spark.local.dir	/tmp	用于存放spark应用程序运行时的数据，例如map输出文件和RDDs在磁盘上的存储。这个目录可以用逗号分隔的多个目录。
spark.logConf	false	是否记录sparkConf的所有INFO日志
spark.master	None	指定spark的Master节点的
spark.submiy.deployModel	None	配置提交spark应用程序是客户端模式还是集群模式

运行环境配置参数

spark.driver.extraClassPath	None	指定Driver的额外的ClassPath。注意：在客户端模式下不能够使用SparkConf来设置此属性，但是可以在shell中用 --driver–class–path命令来指定Driver的ClassPath
spark.driver.extraJavaOptions	None	该参数的意义在于可以设置驱动程序上JVM的参数。注意1：此选项的设置-Xmx的大小是不允许的，但是在集群模式下我们可以用spark.driver.memory和在客户端模式下使用–driver–memory来设置-Xmx的大小。注意2：在客户端模式下不能够使用SparkConf来设置此属性，但是可以在shell中用 --driver–java–options命令来设置此属性
spark.executor.extraJavaOptions	None	设置Executor上的JVM参数。例如GC参数和其他日志选项。注意1：此选项的设置-Xmx最大堆大小是不允许的，但是可以使用SparkConf或者spark-submit脚本或者在spark-default.conf中设置，也可以使用spark.executor.memory设置-Xmx最大堆大小。
spark.executor.log.rolling.maxRetainedFiles	None	设置Executor滚动日志保留的最大数量，当超出限制是就删除旧日志，默认是不开启的
spark.executor.log.enableCompression	false	是否启动Executor的日志压缩。如果启动就压缩Executor已滚动的日志，默认情况下是不开启的
spark.executor.logs.rolling.maxSize	None	设置滚动日志文件的最大大小，字节为单位，
spark.executor.logs.rolling.strategy	None	设置日志的滚动策略。默认情况下是禁用的。两种滚动策略，一个是基于时间、一个是基于大小的。对于“时间”，用于spark.executor.logs.rolling.time.interval设置滚动间隔。对于“大小”，用于spark.executor.logs.rolling.maxSize设置滚动的最大文件大小。