Spark任务偶现Task卡住很长时间导致Stage整体耗时长

最新推荐文章于 2024-07-09 22:08:44 发布

AlphaTan1994

最新推荐文章于 2024-07-09 22:08:44 发布

阅读量1.2w

点赞数

分类专栏： Spark YARN 文章标签： Spark Yarn

本文链接：https://blog.csdn.net/weixin_39588015/article/details/79365941

版权

本文分析了Spark任务中偶现Task卡住导致Stage耗时过长的问题，通过对Job836的采样，发现由于Executor所在NodeManager的内存耗尽和频繁Full GC，造成Task执行延迟。解决方案是调整NodeManager的堆内存设置，以适应业务需求。

摘要由CSDN通过智能技术生成

原始文章链接：https://alphablacktan.github.io/bigdata/2018/08/13/Spark任务偶现Task卡住很长时间导致Stage整体耗时长/

问题现象

提交大量Spark任务，概率性出现个别Task卡住一段时间，进而导致Stage整体耗时开销异常。

问题分析

采样Job836

异常Stage2249 -> 卡住Task8：

对应Executor日志：

...
INFO | [Executor task launch worker-78] | Running task 8.0 in stage 2249.0 (TID 222920) | org.apache.spark.Logging$class.logInfo(Logging.scala:59)
ERROR | [shuffle-client-1] | Connection is dead; please adjust spark.network.timeout if this is wrong | org.apache.spark.network.server.TransportChannelHandler.userEventTriggered(TransportChannelHandler.java:128)
ERROR | [shuffle-client-1] |