Hive查询慢的那点事

当你用jdbc对HiveServer2做一些查询的时候,有时候会遇到一些延时,为了查找原因,我们可以收集jstack dump日志,它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析,那么如何分析jstack日志呢?

1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可以认为这是个hive query,行为访问的是http post.
2,查看有没有锁的情况,如果有锁,那么慢的原因就很有可能是它。锁有很多,如下parking to wait for <0x00007fc009bcabf8>就可以认为它是个锁。
3,如下就是一个导致Hive查询慢的线程。

"HiveServer2-HttpHandler-Pool: Thread-17151"
  java.lang.Thread.State: WAITING (parking)
  at sun.misc.Unsafe.park(Native Method)
parking to wait for  <0x00007fc009bcabf8> (a java.util.concurrent.Semaphore$NonfairSync)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:836)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:997)
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive查询时,可以考虑以下几种优化方式: 1. 数据分区:对表进行合理的数据分区可以提高查询性能。通过将数据按照某个字段(如日期、地区等)进行分区,可以减少需要扫描的数据量,提高查询效率。 2. 数据压缩:使用适当的数据压缩格式(如ORC、Parquet)可以减少磁盘占用和I/O开销,提高查询速度。这些压缩格式可以在查询时只读取必要的列,减少不必要的数据读取。 3. 合理使用索引:在Hive中,可以使用索引来加速查询。对于经常被使用作为查询条件的列,可以创建索引来提高查询性能。但需要注意,索引会增加写入的开销,所以需要根据实际情况权衡。 4. 数据倾斜处理:当某个字段的取值分布不均匀时,可能会导致查询性能下降。可以通过对数据进行采样、调整数据分桶等方式来处理数据倾斜问题,提高查询效率。 5. 调整Hive配置参数:根据实际情况,合理调整Hive的配置参数也可以提升查询性能。例如,增加内存限制、调整并行度等。 6. 使用Tez或Spark引擎:Hive支持多种执行引擎,如MapReduce、Tez、Spark等。根据实际情况选择合适的执行引擎,可以提高查询性能。 7. 数据预处理:在进行复杂计算之前,可以考虑对数据进行预处理,将计算结果缓存起来,以减少重复计算的开销。 以上是一些常见的Hive查询优化方式,具体的优化策略需要根据具体情况进行调整和实施。可以通过分析查询执行计划、查看日志等方式了解查询性能瓶颈,并根据实际情况选择合适的优化方法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值