hive metastore server Failed to sync requested HMS notifications up to the event ID xxxxx

最新推荐文章于 2024-07-18 11:02:29 发布

kevin_wf

最新推荐文章于 2024-07-18 11:02:29 发布

阅读量1.6k

点赞数 1

分类专栏： hive sentry hadoop

本文链接：https://blog.csdn.net/wflh323/article/details/103608560

版权

在执行Hive的create和drop table操作时遇到延迟问题，原因是大量动态分区导致Hive Metastore Server线程和内存升高。出现'sentry'警告和'Hive Metastore Server'错误日志，提示无法同步HMS通知到特定事件ID。分析发现是权限同步消息积压引起，可以通过调整sentry参数减少等待时间或重启服务解决此问题。

摘要由CSDN通过智能技术生成

最近遇到hive执行create,drop table语句时出现延时其它语句正常，平时秒级现在都需要200s才完成。经过排查发现有个用户使用手机号做动态分区字段，导致一下有上百万分区写入，hive metastore server出现问题，线程数飙升至1k多，内存升高。将任务停止后线程数下降，内存下降恢复正常水平，但是create,drop table还是不正常耗时200s才执行完成。

sentry出现如下警告日志：

timed out wait request for id xxxx

hive metastore server 出现如下Error日志：

Failed to sync requested HMS notifications up to the event ID xxxxx

查看sentry 异常CounterWait源码发现传递的id比 currentid 大导致一直等待超时，超时时间为200s。

public long waitFor(long value) throws InterruptedException, TimeoutException {
    // Fast path - counter value already reached, no need to block
    if (value <= currentId.get()) {
      return currentId.get();
    }

    // Enqueue the waiter for this value
    ValueEvent eid =