Hive查询慢的那点事

最新推荐文章于 2023-12-19 22:54:42 发布

大数据爱好者

最新推荐文章于 2023-12-19 22:54:42 发布

阅读量5.9k

点赞数

分类专栏： Hive

本文链接：https://blog.csdn.net/weixin_44953126/article/details/102884519

版权

当使用jdbc查询HiveServer2时，可能会遇到延迟问题。通过分析jstack日志，可以发现Hive查询行为及可能存在的锁。重点在于HiveSessionImpl的operationLock，它是导致查询慢的原因。通过调整HIVE_SERVER2_PARALLEL_OPS_IN_SESSION配置为true，可以避免获取该锁，从而解决查询延迟问题。

摘要由CSDN通过智能技术生成

当你用jdbc对HiveServer2做一些查询的时候，有时候会遇到一些延时，为了查找原因，我们可以收集jstack dump日志，它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析，那么如何分析jstack日志呢？

1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可以认为这是个hive query，行为访问的是http post.
2,查看有没有锁的情况，如果有锁，那么慢的原因就很有可能是它。锁有很多，如下parking to wait for <0x00007fc009bcabf8>就可以认为它是个锁。
3,如下就是一个导致Hive查询慢的线程。

"HiveServer2-HttpHandler-Pool: Thread-17151"
  java.lang.Thread.State: WAITING (parking)
  at sun.misc.Unsafe.park(Native Method)
parking to wait for  <0x00007fc009bcabf8> (a java.util.concurrent.Semaphore$NonfairSync)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:997)