Hive数据倾斜调优(详细版)

最新推荐文章于 2024-05-14 00:01:36 发布
最新推荐文章于 2024-05-14 00:01:36 发布
阅读量603 收藏
点赞数
分类专栏： BigData笔记 文章标签： 大数据 hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzluestc/article/details/118890873
版权
本文深入探讨了Hive数据倾斜的原因及表现，包括Map端和Reduce端的倾斜问题。通过对Map join、Count distinct和grouping set联合使用、Join及Group by时的数据倾斜进行分析，提出了解决方案，如调整Map端切片、使用Map join、过滤、键映射打散等策略，以优化Hive查询性能。
摘要由CSDN通过智能技术生成

一、数据倾斜本质

数据在各Map task或Reduce task上分配不均匀，数据量过大的task会拉长整个任务的执行时间。

二、表现

某个map task运行时间明显长于其他task。并且该task的数据量明显大于其他task。针对Map task，看INPUT_SPLIT_LENGTH_BYTES，该参数表示map task的输入数据量，和OUTPUT_BYTES_PHYSICAL，表示map task的输出数据量；针对Reduce task，看SHUFFLE_BYTES，表示shuffle输出，也就是reduce输入的数据量。

三、Map端数据倾斜

1. Map join时数据倾斜

(1) 原因

大表和小表join时，启用map join会把小表存储在读取到HashTable中并分发到大表的各map task内存中，进行join操作。当大表的map task数据量分布不均匀时，会产生数据倾斜。或者当join产生笛卡尔积时，会产生数据倾斜。

(2) 解决

可通过改变Map端切片方式，减少Map端Task的输入量，增加Map端Task数量来解决。

set hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

set mapreduce.

最低0.47元/天 解锁文章
W.zhaolin
关注
专栏目录
(15)Hive调优——数据倾斜的解决指南
爱吃辣条的博客
02-10 3480
Hive调优——数据倾斜指南
Hive：数据倾斜调优/解决方案总结
SKY_WU95的博客
10-06 339
在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规 避错误来更好的运行比解决错误更高效。在查看了一些
【黑马甄选离线数仓day07_常见优化手段及核销主题域开发】
LKL的博客
11-29 1195
常见优化手段及核销主题域开发_DWS开发
HIVE 数据倾斜调优总结zz
weixin_34323858的博客
06-19 169
在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数...
mysql数据倾斜_Hive数据倾斜优化
weixin_28793831的博客
02-08 231
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的...
Hive数据倾斜及调优
张金玉的专栏
04-07 412
Hive中的数据倾斜和优化 常见的优化 1大表转化为小表，充分利用临时表 合理的利用分区表+外部表 数据存储格式，压缩的配置 SQL语句的优化 join---尽量使用map join filter 先过滤再处理 开启并行 hive.exec.parallel ->修改为true,开启并行 hive.exec.parallel.thread.number 设置并行的个数 开启JVM重用...
Hive数据倾斜的优化配置
fwdwqdwq的博客
03-14 398
Hive本质 Hive的本质其实就是 Hdfs+MapReduce，HDFS存储、MR执行任务 发生数据倾斜的原因 1.数据本身倾斜 内容倾斜、group by倾斜、小表Join大表 2.过多 Join过多导致Job过多、小文件过多、Mapper或Reducer过多 3.SQL语句使用问题 count（distinct）->全盘扫描 join … where 笛卡尔乘积 关于数据倾斜见我的博客： 大数据常见问题：数据倾斜的原理及处理方案_AriesLY0411的博客-CSDN博客 解决方案 模型设计
Hive 数据倾斜与调优
lv_hulk的博客
02-24 217
Hive 数据倾斜与调优 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce...
Spark的数据倾斜调优.pdf
最新发布
10-31
Spark的数据倾斜调优详细解决方案
Hive 数据倾斜与Map个数与Reduce个数相关
大数据流浪法师的学习笔记与分享
11-28 399
Map数 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数， input的文件大小， 集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a)一个大文件： 假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（...
2024年最全【Hive】（十五）Hive 数据倾斜与调优_hive 调优数据倾斜(1)，大数据开发未来路在何方
2301_82241942的博客
05-05 873
方法 2 比方法 1 效率更好，不但 IO 少了，而且作业数也少了，方案 1 中，log 表 读了两次，jobs 肯定是 2，而方案 2 是 1。这个优化适合无效 id（比如-99，’’，null）产 生的数据倾斜，把空值的 key 变成一个字符串加上一个随机数，就能把造成数据倾斜的 数据分到不同的 reduce 上解决数据倾斜的问题。
【Hive】（十五）Hive 数据倾斜与调优
云祁QI
01-28 1470
文章目录一、什么是数据倾斜？二、Hadoop 框架的特性三、主要表现四、容易数据倾斜情况五 、产生数据倾斜的原因六、业务场景1、空值产生的数据倾斜（1）场景说明（2）解决方案（3）总结2、不同数据类型关联产生数据倾斜（1）场景说明（2）解决方案3、大小表关联查询产生数据倾斜 一、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。 二、Hadoop 框架的特性 A、不怕数...
Hive 数据倾斜（调优）
weixin_45303716的博客
03-02 244
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、数据倾斜的原因 (1)key分布不均匀 (2)业务数据本身的特性 (3)建表时考虑不周 (4)某些SQL语句本身就有数据倾斜 3、容易数据倾斜情况 4、主要表现 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。 单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。 5
Hive中的基本优化 + 索引优化 + 数据倾斜优化
机械工程跑路哥
09-01 898
运行的过程当中，有多个Reduce，每个Reduce拿到的数据不均匀，其中有一个或几个拿到的数据远远大于其他reduce拿到的数量，此时任务出现了数据倾斜；
hive数据倾斜的优化
weixin_47699191的博客
07-29 766
一.join操作数据倾斜 1.mapjoin map join 默认开启 set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join,没有reduce阶段,没有shuffle 2.类型不一致 关联字段不一致引发的数据倾斜操作有一个a表关联字段是
hive 数据倾斜调优总结
一个记录普通男孩在ＩＴ界学习思考感悟的地方
03-04 282
在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规 避错误来更好的运行比解决错误更高效。在查看了一些
HIVE调优-数据倾斜优化（详细版）
2301_77836489的博客
05-14 1095
如果当前的Reduce数量为1，那么也没有优化的效果，可以通过设置reduce的数量对不同分区中的数据进行拆分排序。全局排序操作, 只有一个Reduce任务去对数据进行排序，会造成全部的数据堆积在一个Reduce任务中进行处理。2.数据重复，在关联时，会产生笛卡尔积，致使数据膨胀，严重的可能会导致集群挂掉。通过调整该参数，使得有倾斜的数据在Map reduce过程中 被随机的从Map端发送到Reduce端进行处理，reduce会对随机发送过来的数据进行 初步的处理，之后再进行后续的统计。
Hive调优学习笔记3
qq_48077612的博客
07-18 194
大数据学习之路，不定时修改和增加内容，欢迎指正 第4章 数据倾斜（重点） 绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。 一定要和数据过量导致的现象区分开，数据过量的表现为所有任务都执行的很慢，这个时候只有提高执行资源才可以优化HQL的执行效率。 综合来看，导致数据倾斜的原因在于按照Key分组以后，少量的任务负责绝大部分数据的计算，也就是说产生数据倾斜的HQL中一定存在分组操作，那么HQL的角度，我们可以将数据倾斜分为单表携带了GroupBy字段的查询
Hive解决数据倾斜的各种优化方法
TRX的博客
01-20 6177
一、概念 数据处理中的数据倾斜：个人理解，在数据处理的MapReduce程序中，由于数据的特殊性，数据中存在大量相同key的数据，根据业务需求需要对这个key进行分区操作（group by/join）时，在map的partition阶段将大数据量的相同key的数据全部分配到同一个Reduce，导致Reduce的节点数据量分配极度不均衡的现象，称为数据倾斜。 数据倾斜有哪些表现： 最直观的表现就是：Hive SQL运行得慢 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量.
hive数据倾斜 参数调优
11-17
为了解决Hive数据倾斜问题，可以通过调整参数进行优化。其中，hive.groupby.skewindata参数可以控制当GROUP BY操作出现数据倾斜时是否进行负载均衡。当该参数设置为true时，Hive会自动进行负载均衡，将数据均匀地分配到不同的reduce任务中，从而提高作业的效率。另外，还可以采用以下两种方法进行优化： 方法1：使用DISTRIBUTE BY和SORT BY操作 ```sql SELECT col1, col2, count(*) FROM table_name DISTRIBUTE BY col1 SORT BY col1, col2 ``` 方法2：使用随机数解决数据倾斜问题 ```sql SELECT col1, col2, count(*) FROM ( SELECT if(col1 is null, concat('null', rand()), col1) as col1, col2 FROM table_name ) t GROUP BY col1, col2 ``` 其中，方法2比方法1效率更好，因为它不仅减少了IO操作，还减少了作业数。此外，对于无效id（如-99、''、null等）产生的倾斜问题，可以将空值的key变成一个字符串加上随机数，从而将倾斜的数据分配到不同的reduce上，解决数据倾斜问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值