【原创】大叔经验分享（14）spark on yarn提交任务到集群后spark-submit进程一直等待...

spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用；

最近发现spark里有一个配置可以修改这种行为，提交任务的时候加长一个conf就可以

--conf spark.yarn.submit.waitAppCompletion=false

org.apache.spark.deploy.yarn.config

  private[spark] val WAIT_FOR_APP_COMPLETION = ConfigBuilder("spark.yarn.submit.waitAppCompletion")
    .doc("In cluster mode, whether to wait for the application to finish before exiting the " +
      "launcher process.")
    .booleanConf
    .createWithDefault(true)

 

转载于:https://www.cnblogs.com/barneywill/p/10154691.html