spark java opts_Spark中各个角色的JVM参数设置

最新推荐文章于 2022-06-18 11:54:29 发布

佳丽影像

最新推荐文章于 2022-06-18 11:54:29 发布

阅读量330

点赞数

文章标签： spark java opts

本文链接：https://blog.csdn.net/weixin_42548752/article/details/114350318

版权

本文总结了Spark中Driver和Executor的JVM参数设置，包括-Xmx/-Xms、 PermSize和GC方式。Driver的参数在yarn-client和yarn-cluster模式下分别从不同文件读取，可被spark-submit覆盖。Executor的JVM参数大部分通过spark-default.conf配置，Executor数目和CPU个数在不同模式下有不同的指定方式。

摘要由CSDN通过智能技术生成

总结一下Spark中各个角色的JVM参数设置：

(1)Driver的JVM参数：

-Xmx，-Xms，如果是yarn-client模式，则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值，-Xmx，-Xms值一样大小；如果是yarn-cluster模式，则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。

PermSize，如果是yarn-client模式，则是默认读取spark-class文件中的JAVA_OPTS="-XX:MaxPermSize=256m $OUR_JAVA_OPTS"值；如果是yarn-cluster模式，读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。

GC方式，如果是yarn-client模式，默认读取的是spark-class文件中的JAVA_OPTS；如果是yarn-cluster模式，则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的参数值。

以上值最后均可被spark-submit工具中的--driver-java-options参数覆盖。

(2)Executor的JVM参数：

-Xmx，-Xms，如果是yarn-client模式，则默认读取spark-env文件中的SPARK_EXECUTOR_MEMORY值，-Xmx，-Xms值一样大小；如果是yarn-cluster模式，则读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

PermSize，两种模式都是读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

GC方式，两种模式都是读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

(3)Executor数目及所占CPU个数

如果是yarn-client模式，Executor数目由spark-env中的SPARK_EXECUTOR_INSTANCES指定，每个实例的数目由SPARK_EXECUTOR_CORES指定；如果是yarn-cluster模式，Executor的数目由spark-submit工具的--num-executors参数指定，默认是2个实例，而每个Executor使用的CPU数目由--executor-cores指定，默认为1核。