TasksetManager冲突导致SparkContext异常关闭

最新推荐文章于 2022-03-14 11:13:41 发布

liujianhuiouc

最新推荐文章于 2022-03-14 11:13:41 发布

阅读量2.5k

点赞数 1

分类专栏： spark

本文链接：https://blog.csdn.net/liujianhuiouc/article/details/62417825

版权

在Spark 1.6.1中，遇到线上Spark Streaming任务因TasksetManager冲突导致SparkContext异常关闭的问题。经过日志分析，发现是DAGScheduler在TasksetManager完成任务前就触发了stage重提交，导致TasksetManager冲突。解决方案是调整TasksetManager.handleSuccessfulTask方法，确保isZombie变更为true后再发送CompletionEvent。

摘要由CSDN通过智能技术生成

背景介绍

当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的spark streaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因。本文代码基于spark 1.6.1。

问题定位

登陆到线上机器，查看错误日志，发现系统一直报Cannot call methods on a stopped SparkContext.，全部日志如下

[ERROR][JobScheduler][2017-03-08+15:56:00.067][org.apache.spark.streaming.scheduler.JobScheduler]Error running job streaming job 1488959760000 ms.0
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
This stopped SparkContext was created at:

org.apache.spark.SparkContext.<init>(SparkContext.scala:82)
org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:874)
org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:81)
com.xxxx.xxxx.MainApp$.createStreamingContext(MainApp.scala:46)
com.xxxx.xxxx.MainApp$$anonfun$15.apply(MainApp.scala:126)
com.xxxx.xxxx.MainApp$$anonfun$15.apply(MainApp.scala:126)
scala.Option.getOrElse(Option.scala:120)
org.apache.spark.streaming.StreamingContext$.getOrCreate(StreamingContext.scala:864)
com.xxxx.xxxx.MainApp$.main(MainApp.scala:125)
com.xxxx.xxxx.MainApp.main(MainApp.scala)
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:498)
org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
org.apache.spark.deploy