hive解决数据倾斜之寻找大key

最新推荐文章于 2023-01-03 22:21:19 发布
最新推荐文章于 2023-01-03 22:21:19 发布
阅读量1.5k 收藏 30
点赞数 7
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/epitomizelu/article/details/117120258
版权

参考文献
执行hive sql时，如果某个reduce任务特别慢，很可能是出现了数据倾斜。

如何查找数据倾斜？

第一步，在hive日志里找到当前job的日志

在这里插入图片描述

第二步，查看counter

在这里插入图片描述
点击进入 reduce input records，发现有一个reduce任务的数量远大于其他任务。

在这里插入图片描述

第三步打开日志，进入job日志详细界面

在这里插入图片描述

第三步，点击上图红色部分，进入明细界面。

在这里插入图片描述

第四步，进入reduce的统计界面

发现有一个任务的执行时间特别长。

在这里插入图片描述
第五步，进入这个任务的明细界面

在这里插入图片描述

第六步，查看这个任务的日志

在这里插入图片描述

在这里插入图片描述
可以搜一下关键字key，发现key为1
在这里插入图片描述

小手追梦
关注
专栏目录
数据倾斜
程序员学习圈
06-04 806
一、前言 二、什么是数据倾斜？ 三、数据倾斜长什么样？ 四、数据倾斜的原理 五、解决数据倾斜的思路 六、MR解决数据倾斜的方法 七、Hive解决数据倾斜的方法 八、Spark解决数据倾斜的方法 一、前言 1.1 绪论 数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。 迈的过去，将会海阔天空！迈不过去，就要做好准备：很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。 1.2 郑重声...
MapReduce中数据倾斜的产生和解决办法详解
热门推荐
chyeers的博客
10-23 1万+
2017-10-23 细柳条 小秀才翻译铺     前言：数据倾斜是日常大数据查询中隐形的一个BUG，遇不到它时你觉得数据倾斜也就是书本博客上的一个无病呻吟的偶然案例，但当你遇到它是你就会懊悔当初怎么不多了解一下这个赫赫有名的事故。     当然你和数据倾斜的缘分深浅还是看你公司的业务逻辑和数据量有没有步入数据倾斜的领地。     说明：关于数据倾斜的产生
hive中找出造成数据倾斜的key
weixin_45069707的博客
05-27 1896
https://blog.csdn.net/wisgood/article/details/77063606 转载
Hive 数据倾斜问题定位排查及解决（实战）
格子衫
08-06 1169
多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。 当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决倾斜。通过下面这个非常简单的例子来看下如何定位产生数据倾斜的代码。 表结构描述 先来了解下这些表中我
hive中数据倾斜
weixin_34018202的博客
04-15 234
数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、group by...
Hive 总结
sr0226的博客
07-01 320
HIve 总结 石锐 穷且益坚，不坠青云之志。 一、Hive的特点以及和RDBMS的异同： 1、hive是一个数据仓库的工具，可以将结构化的数据完全映射成一张表，优点是学习成本低，底层是转化为MR的程序，它是不支持事务，不支持实时查询，具体和RDBMS区别如下： （转载） 二、Hive中的数据倾斜： 1、数据倾斜的原因：（1）、key分布不均匀。（2）、业务数据本身的原因。（...
hive解析key值包含数组的json
sinat_24296421的博客
01-08 3094
一般的json直接 get_json_object(column,'$.key') 可以直接取出对应字段 column：存储json的列 key：json中的key 代码事例： select company_id ,tag_manage ,get_json_object(tag_manage,'$.SERVICE_PROMISE')...
Hive中无效ID导致的数据倾斜及其优化策略
id）作为主键，如果在收集过程中丢失导致部分记录user_id为null，当尝试与bmw_users表进行关联时，由于Hive的特性，null值会被视为同一Key，进而可能导致数据在计算过程中高度集中，形成数据倾斜。 解决这个问题的...
MapReduce如何解决数据倾斜问题
wyqwilliam的博客
09-11 3680
前言：数据倾斜是日常大数据查询中隐形的一个BUG，遇不到它时你觉得数据倾斜也就是书本博客上的一个无病呻吟的偶然案例，但当你遇到它是你就会懊悔当初怎么不多了解一下这个赫赫有名的事故。 当然你和数据倾斜的缘分深浅还是看你公司的业务逻辑和数据量有没有步入数据倾斜的领地。   说明：关于数据倾斜的产生原因我将结合 map 和 reduce 阶段中的 shuffle 来讲解，若是对 shuffle 有...
【MapReduce性能调优全攻略】：解决数据倾斜与加速Shuffle的技巧
![【MapReduce性能调优全攻略】：解决数据倾斜与加速Shuffle的技巧]...接下来的章节将深入探讨MapReduce的内部机制和数据倾斜问题，并提供解决策略和实际案例分析。 首先，我们需要明确性
Hive 如何排查数据倾斜问题
雾岛与鲸的博客
09-07 4123
如果某个key下记录数远超其他key，在join或group的时候可能会导致某个reduce任务特别慢。本文分析下join的场景。 本例子SQL如下: 查询每个appid打开的次数，需要排除掉作弊的imei。 select appid, count(*) from ( select md5imei, appid from ( select t1.md5imei, t1.appid, t2.cheat_flags from imei_open_app t1 left join cheat_
实操 | Hive 数据倾斜问题定位排查及解决
hellojoy的博客
05-13 3126
实操 | Hive 数据倾斜问题定位排查及解决 多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。 当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决倾斜。通过下面这个非常简单的例子来看下如何定位产生数据
HIVE优化理论篇
qq_43059899的博客
09-07 651
hive优化部分理论知识
hivesql解析json格式的key与value
啊帅和和的博客
01-13 6972
目录解析json格式中的key解析json格式中的value json格式示例： {“city_code”:“340100”,“county_code”:“340111”,“orientation”:“东”,“road_id”:35204271,“speed”:35.72} 解析json格式中的key 我们可以看到这个数据还是很规整的，首先先将这个json数据中的花括号：“{}”给去除，并将逗号：“，”也都给替换成冒号：“：”，双引号也给剔除，之后进行行列转换，选取需要的 1、剔除双引号、花括号 selec
Hive中如何定位数据倾斜
最新发布
qq_42160456的博客
01-03 1183
hive定位数据倾斜及通用的解决方案
Hive进阶—抽样的各种玩法
weixin_44519496的博客
10-30 145
抽样 抽样在Hive 中也是比较常用的一种手段，主要用在下面的几个场景中 一些机器学习的场景中，数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常，这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据，然后进行SQL调优 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随机抽样(rand()函数) 我们一般情况下是使用排序函数
【Hive】Hive数据倾斜以及解决方案
qq_37472274的博客
08-08 3172
数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。
Hive优化思路
weixin_45216482的博客
03-23 568
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，
Hive依据key获取value
鸭梨的博客
12-26 2314
比如字段如下,需求在hive中可以获取value sex=1&hight=180&weight=100&sal=2000000 sex=0&hight=176&weight=101&sal=1000000 sex=1&hight=170&weight=102&sal=2000000 sex=0&hight=169&weight=103&sal=3000000 sex=0&hight=188&wei
Hive性能优化：数据倾斜与解决策略
- **启用倾斜Join优化**：`hive.optimize.skewjoin=true`，Hive会为大Key值创建额外的Reduce任务，分发数据。 - **设置倾斜Key阈值**：`hive.skewjoin.key=skew_key_threshold`，当key值超出阈值时，数据会被重新...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小手追梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值