spark yarn 提交任务后退出进程

最新推荐文章于 2023-10-10 20:53:12 发布

Choerodon2

最新推荐文章于 2023-10-10 20:53:12 发布

阅读量1.1k

点赞数

分类专栏： spark 文章标签： spark spark yarn spark yarn 退出进程退出日志页面

原创文章,转载请注明原文地址

本文链接：https://blog.csdn.net/peterpeng881003/article/details/112768747

版权

spark 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

spark提供如下配置

配置	默认值	解释	开始版本
spark.yarn.submit.waitAppCompletion	true	在集群模式下，控制客户端是否等待退出，直到应用程序完成。如果设置为true，客户端进程将保持活动状态，并报告应用程序的状态。否则，客户端进程将在提交后退出。	1.4

写法

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf spark.yarn.submit.waitAppCompletion=false \
  ... # other options
  <application-jar> \
  [application-arguments]