YARN异常YarnException:Failed while publishing entity的解决方案

最新推荐文章于 2024-10-11 17:25:31 发布

sssuperMario

最新推荐文章于 2024-10-11 17:25:31 发布

阅读量3.1k

点赞数

分类专栏： HADOOP 文章标签： hadoop zookeeper yarn

本文链接：https://blog.csdn.net/qq_41958123/article/details/87921251

版权

在HDP3.0版本中，遇到mapreduce任务完成后，容器无法关闭并持续等待5分钟的问题。经过排查，发现是由于ATSv2的嵌入式HBASE崩溃导致。解决步骤包括：停止Yarn服务，删除Zookeeper上的ATSv2 Znode，从HDFS移动Hbase时间线服务器的嵌入式数据库，然后重新启动Yarn服务，问题得到解决。

摘要由CSDN通过智能技术生成

版本：HDP3.0
mapreduce提交任务计算时，job已经结束，但是容器仍不能关闭持续等待五分钟

INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING
INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is