Hive查询慢的那点事2

最新推荐文章于 2024-06-02 09:56:09 发布
最新推荐文章于 2024-06-02 09:56:09 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： Hive 文章标签： Hive 查询慢 查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44953126/article/details/102410040
版权

Hive查询慢的那点事2

有时候我们收集了HS2的Jstack dump后，你会发现有好多threads pending on waiting for specific thread, 这个specific thread在写debug log，如果Disk I/O不给力，也会导致Hive Query慢的情况，这样我们就需要disable Hive Debug log来提高Hive查询的速度。

具体callstack如下：有很多thread在等0x00007ff14117d0d0释放，这个锁的原因是由于org.apache.commons.logging.impl.Log4JLogger.debug被call到。

在这里插入图片描述

在这里插入图片描述

大数据爱好者
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive中select count(distinct xx) from table 查询慢原因及优化
dingchangxiu11的博客
02-03 4985
一.问题描述 在hive中，如果数据量很大，select count(distinct xx) from table 有时会查询非常慢 举例说明： 表名：loan_trans 数据量：551353635 存储空间：52.93GB select count(distinct id) from loan_trans where etl_tx_dt =20200202 number of mapper...
Hive优化（提高hive运行速度）
徐磊的博客
02-18 9996
一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行） 将hive的job交给yarn执行太慢，hive支持本地模式 設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 设置hive基于本地模式的方法 1、设置临时的 在每次执行hql语句之前 都要先执行下面这句话 set hive.exec.mode.local.auto...
Hive中查询操作
01-20
一、查询语法 查询语句语法： [WITH CommonTable[removed], CommonTableExpression)*] Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY col_list]
Hive中常见的问题以及优化方案
最新发布
j218255的博客
06-02 376
用户表中 user_id 字段为 int，log 表中 user_id 为既有 string 也有 int 的类型， 当按照两个表的 user_id 进行 join 操作的时候，默认的 hash 操作会按照 int 类型的 id 进 行分配，这样就会导致所有的 string 类型的 id 就被分到同一个 reducer 当中。2.对于业务数据本身的特性，首先是空值产生的数据倾斜问题，常见的就是我们的日志表和业务表进行关联后出现的空值，比如关联字段为user_id,可以将user_id为空的不参与关联。
【Hive】count(distinct column) 为何效率低？
一个写湿的程序猿
09-17 1944
count（distinct column）为何效率低？问题？解决办法 问题？ 统计一个按天分区，每天都有百亿条数据条的hive表中account字段的非重用户数（大概两千万）。后来又更改为按id字段分别统计每个id的用户数。 很简单，直接count(distinct account)这个句子。然后写上了一行查询完成！然后等待了四个小时，map反着跑就知道肯定有问题。。 Hive SQL 基于的mapreduce是并行计算，百亿的数据可不是平时测试时的mysql里的几百条数据。 这么想来应该是map和
Hive查询慢的那点事
weixin_44953126的博客
11-03 5891
当你用jdbc对HiveServer2做一些查询的时候，有时候会遇到一些延时，为了查找原因，我们可以收集jstack dump日志，它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析，那么如何分析jstack日志呢？ 1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可...
Hive总结.docx
06-12
与传统的数据库（如MySQL、Oracle）相比，Hive更侧重于分析操作，存储大量历史数据，响应时间相对较慢，但适合大规模数据的离线分析。 1.2 Hive原理 Hive的工作流程主要包括以下步骤： - 用户通过各种接口（CLI、...
大数据面试 Hive 八股文
02-20
- **执行延迟**：由于依赖于MapReduce，Hive的查询速度相对较慢，不适用于实时分析。 - **不支持事务**：早期版本的Hive不支持事务，对数据一致性要求高的场景可能不适用。 - **无索引**：查询时需全表扫描，导致...
HIVE资料.zip
05-20
2. 写操作较慢：Hive不适合频繁的更新和插入操作。 3. 资源消耗大：每个HQL查询都会启动多个MapReduce任务。 ### 学习Hive的方向 1. **HQL语法**：掌握基本的查询语法，如SELECT、JOIN、PARTITION BY等。 2. **Hive...
hive常见的优化方案ppt
12-15
在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，被广泛用于数据分析和查询。然而，随着数据量的增加，Hive性能问题逐渐显现，如数据倾斜、负载不均衡等，严重影响了处理效率。以下是一些针对Hive性能优化...
关于HIVE的SELECT count(*) 优化
a95473004的博客
02-28 8990
刚刚下载了一份HIVE的最新源码。 印象最深的是HIVE将表的大小作为了元数据保存在了关系数据库中。 譬如在老版本中执行如下的语句： from base insert overwrite table user select * ; 你会发现日志的末尾会有 “999 ROWD LOADED INTO TABLE USER” 的字样 代表有999条目记录保存在了user表
Hive 大数据表性能调优
zjjcchina的博客
12-07 941
HiveHive表是一种依赖于结构化数据的大数据表。数据默认存储在 Hive 数据仓库中。为了将它存储在特定的位置，开发人员可以在创建表时使用 location 标记设置位置。Hive 遵循同样的 SQL 概念，如行、列和模式。 在读取 Hadoop 文件系统数据或 Hive 表数据时，大数据应用程序开发人员遇到了一个普遍的问题。数据是通过spark streaming、Nifi streaming作业、其他任何流或摄入程序写入 Hadoop 集群的。摄入作业将大量的小数据文件写入 Hadoop 集群。这
Hive查询变慢及无响应问题分析
chenxyz707的博客
04-27 6802
Hive查询变慢及无响应问题分析问题描述问题分析问题解决 问题描述 某任务使用Hive作数据查询，连续几天任务越来越慢。后面甚至出现了执行失败的错误。 问题分析 经排查发现连接机器A上Hive的任务运行平稳，出现问题的任务都是连接的B机器的，观测到B机器上的Hive进程CPU过高。 我们查询到4154对应的进程是HiveServer2。通过Cloudera Manage查看B机器的负载情况，...
大数据之spark_spark的广播变量及ip地址案例分析
WuBoooo的博客
09-25 2311
广播变量 广播变量 通常是为了实现mapside join，可以将Driver端的数据广播到属于该application的Executor，然后通过Driver广播变量返回的引用，获取事先广播到Executor的数据 广播变量是通过BT的方式广播的（TorrentBroadcast），多个Executor可以相互传递数据，可以提高效率 在Driver端使用sc.broadcast这个方法进行广播，并且该方法是阻塞的（同步的） 广播变量一但广播出去就不能改变，为了以后可以定期的改变要关联的数据，可以定义一个o
spark sql 查询hive task过多导致任务执行缓慢
weixin_43828782的博客
08-21 2447
一、问题 跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示 二、解决 1.排查过程 sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的) select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20 想法1:改
Hive DDL操作出现卡住现象源码分析与解决方法
书忆江南的IT博客
09-21 3827
最近遇到对Hive进行alter table时卡住无后续响应的问题，如下图所示：即使重启Hive Metastore也依然无法解决这个问题，但是，经过排查后基本知道了原因所在，以及可以解决的办法。
Hive查询问题（卡住）
小菜
07-27 5252
一、现象 几乎全部SQL语句都不能查，卡死在那里，过很久之后可能会报 FAILED: Error in acquiring locks: Error communicating with the metastore 但是查看后台hive的日志，没有任何异常 SQL语句比如： select 1； show tables； 二、定位原因 1、重启hiveserver2，MetaStore等服务都没有效果 2、考虑是hive元数据的问题 查看hive元数据表的使用情况 show OPEN
hive查询慢怎么优化
07-22
当Hive查询变慢时，可以考虑以下几种优化方式： 1. 数据分区：对表进行合理的数据分区可以提高查询性能。通过将数据按照某个字段（如日期、地区等）进行分区，可以减少需要扫描的数据量，提高查询效率。 2. 数据压缩：使用适当的数据压缩格式（如ORC、Parquet）可以减少磁盘占用和I/O开销，提高查询速度。这些压缩格式可以在查询时只读取必要的列，减少不必要的数据读取。 3. 合理使用索引：在Hive中，可以使用索引来加速查询。对于经常被使用作为查询条件的列，可以创建索引来提高查询性能。但需要注意，索引会增加写入的开销，所以需要根据实际情况权衡。 4. 数据倾斜处理：当某个字段的取值分布不均匀时，可能会导致查询性能下降。可以通过对数据进行采样、调整数据分桶等方式来处理数据倾斜问题，提高查询效率。 5. 调整Hive配置参数：根据实际情况，合理调整Hive的配置参数也可以提升查询性能。例如，增加内存限制、调整并行度等。 6. 使用Tez或Spark引擎：Hive支持多种执行引擎，如MapReduce、Tez、Spark等。根据实际情况选择合适的执行引擎，可以提高查询性能。 7. 数据预处理：在进行复杂计算之前，可以考虑对数据进行预处理，将计算结果缓存起来，以减少重复计算的开销。 以上是一些常见的Hive查询优化方式，具体的优化策略需要根据具体情况进行调整和实施。可以通过分析查询执行计划、查看日志等方式了解查询性能瓶颈，并根据实际情况选择合适的优化方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值