项目场景:
上一章节我们简单介绍到了JVM调优相关的知识,本章节结合日常故障处理进一步说明相关的使用
问题描述
在云上,hive任务出现大面积卡住的现象,但并无任何报错信息,具体如下:
原因分析:
- 考虑hivemetastore故障:
经过很多元数据操作测试,并未发现异常,予以排除。
- 考虑hiveserver2连接数超限问题:
经排查hiveserver2虽然有189个连接数,但并未超过设置的hive.server2.thrift.max.worker.threads上限,予以排除。
- 考虑hiveserver2的JVM问题:
经观察资源使用正常,并没有触发该问题的可能,予以排除,当时的jvm使用情况如下:
- 考虑锁机制相关问题: