遇到问题---spark on k8s部分spark_home的conf配置不生效

最新推荐文章于 2024-07-02 11:56:48 发布

张小凡vip

最新推荐文章于 2024-07-02 11:56:48 发布

阅读量1.1k

点赞数

分类专栏： spark on k8s 遇到问题解决方案集锦

本文链接：https://blog.csdn.net/zzq900503/article/details/105731674

版权

遇到问题解决方案集锦同时被 2 个专栏收录

264 篇文章 644 订阅 ¥19.90 ¥99.00

订阅专栏

spark on k8s

12 篇文章 406 订阅 ¥59.90 ¥99.00

订阅专栏

在Spark运行于Kubernetes集群时，遇到了部分Pod无法应用`spark-defaults.conf`中配置的问题，如S3操作协议未生效及日志打印的`log4j.properties`未读取。解决方案是通过在启动命令中显式指定配置参数，如`--conf spark.hadoop.fs.s3a.protocol=http`来设置S3协议。然而，发现通过`spark.executor.extraJavaOptions`设定的环境变量无法影响executor，目前只能通过修改executor Dockerfile的`endpoint.sh`文件来设定相关参数。

摘要由CSDN通过智能技术生成

遇到的问题

部分pod 执行s3操作和日志打印debug失败，没有读取配置的log4j.properties文件和spark-defaults.conf的配置。

比如指定s3的协议，已经在spark-defaults.conf中指定配置如下:

spark.driver.extraJavaOptions -Dcom.amazonaws.services.s3.enableV4
spark.executor.extraJavaOptions -Dcom.amazonaws.services.s3.enableV4

实际executor的pod执行时并未加载:

+ CMD=(${JAVA_HOME}/bin/java "${SPARK_EXECUTOR_JAVA_OPTS[@]}" -Xms$SPARK_EXECUTOR_MEMORY -Xmx$SPARK_EXECUTOR_MEMORY -cp "$SPARK_CLASSPATH" org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url $SPARK_DRIVER_URL --executor-id $SPARK_EXECUTOR_ID --cores $SPARK_EXECUTOR_CORES --app-id $SPARK_APPLICATION_ID --hostname $SPARK_EXECUTOR_POD_IP)
+ exec /usr/bin/tini -s -- /usr/

了解本专栏