Spark 各种JVM配置以及读取

Spark 各种JVM配置

具体参考博客：https://www.cnblogs.com/chenghaohao/p/8059709.html

yarn clinet模式

JVM参数设置	Driver	Executor
-Xmx -Xms	默认读取spark-env.sh中的SPARK_DRIVER_MEMORY：-Xmx=-Xms	SPARK_EXECUTOR_MEMORY
Permsize	默认读取spark-class.sh中的JAVA_OPTS="-XX:MaxPermSize=256m$OUR_JAVA_OPTS"	spark.executor.extraJavaOptions（spark-default.conf）
GC方式	默认读取的是spark-class文件中的JAVA_OPTS；	spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

yarn cluster模式

JVM参数设置	Driver	Executor
-Xmx -Xms	默认读取spark-default.conf中 spark.driver.extraJavaOptions=“对应的值”	spark.executor.extraJavaOptions
Permsize	读取spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值	spark.executor.extraJavaOptions（spark-default.conf）
GC方式	读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的参数值	spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

！NOTE：以上值最后均可被spark-submit工具中的–driver-java-options参数覆盖。

./bin/spark-submit 
--class --xxxx
--driver-java-options  a=b