Hive调优学习笔记3

最新推荐文章于 2022-03-14 17:10:28 发布
最新推荐文章于 2022-03-14 17:10:28 发布
阅读量193 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48077612/article/details/118884833
版权
本文主要探讨大数据处理中的Hive数据倾斜问题，重点分析单表数据倾斜和Join数据倾斜的优化策略，包括参数调整、增加Reduce数量及MapJoin等方法，旨在提升Hive查询效率。
摘要由CSDN通过智能技术生成

大数据学习之路，不定时修改和增加内容，欢迎指正

第4章 数据倾斜（重点）

绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。
一定要和数据过量导致的现象区分开，数据过量的表现为所有任务都执行的很慢，这个时候只有提高执行资源才可以优化HQL的执行效率。
综合来看，导致数据倾斜的原因在于按照Key分组以后，少量的任务负责绝大部分数据的计算，也就是说产生数据倾斜的HQL中一定存在分组操作，那么HQL的角度，我们可以将数据倾斜分为单表携带了GroupBy字段的查询和两表（或者多表）Join的查询。

4.1 单表数据倾斜优化

4.1.1 使用参数

当任务中存在GroupBy操作同时聚合函数为count或者sum可以设置参数来处理数据倾斜问题。

是否在 Map 端进行聚合，默认为 True
set hive.map.aggr =<
最低0.47元/天 解锁文章
小白學技術
关注
专栏目录
Hive数据倾斜调优(详细版)
wzluestc的博客
07-19 601
一、数据倾斜本质 数据在各Map task或Reduce task上分配不均匀，数据量过大的task会拉长整个任务的执行时间。 二、表现 某个map task运行时间明显长于其他task。并且该task的数据量明显大于其他task。针对Map task，看INPUT_SPLIT_LENGTH_BYTES，该参数表示map task的输入数据量，和OUTPUT_BYTES_PHYSICAL，表示map task的输出数据量；针对Reduce task，看SHUFFLE_BYTES，表示shuffle输出，也就
Hive调优学习笔记2
qq_48077612的博客
07-18 289
第3章 HQL语法优化
HIVE 数据倾斜调优总结zz
weixin_34323858的博客
06-19 169
在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数...
Hive 数据倾斜与Map个数与Reduce个数相关
大数据流浪法师的学习笔记与分享
11-28 398
Map数 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数， input的文件大小， 集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a)一个大文件： 假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（...
mysql数据倾斜_Hive数据倾斜优化
weixin_28793831的博客
02-08 230
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的...
hive数据倾斜优化
shi_xiansheng的博客
10-16 413
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。 3、容易数据倾斜情况 4、产生数...
尚硅谷大数据技术hive学习笔记
最新发布
10-27
"尚硅谷大数据技术hive学习笔记" Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 的核心是将 HQL 转化成 MapReduce 程序，通过 SQL 语言中常用的操作...
Hive学习笔记
04-01
3. **Hive 注释**： - 在 HiveQL 中，可以使用 `--` 或 `/*...*/` 来添加单行或多行注释。 4. **Hive 数据集合类型**： - Hive 支持多种数据类型，包括基本类型如整型、浮点型、字符串，以及复杂类型如数组、...
hive学习笔记
10-16
Hive的学习不仅包括这些基本操作，还包括性能调优、视图、索引、UDF（用户自定义函数）的使用，以及如何与其他Hadoop组件如HBase、Spark集成等。理解Hive的工作原理和最佳实践，对于在大数据环境中进行高效的数据...
hive数据倾斜的优化
weixin_47699191的博客
07-29 765
一.join操作数据倾斜 1.mapjoin map join 默认开启 set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join,没有reduce阶段,没有shuffle 2.类型不一致 关联字段不一致引发的数据倾斜操作有一个a表关联字段是
Hive数据倾斜及调优
张金玉的专栏
04-07 412
Hive中的数据倾斜和优化 常见的优化 1大表转化为小表，充分利用临时表 合理的利用分区表+外部表 数据存储格式，压缩的配置 SQL语句的优化 join---尽量使用map join filter 先过滤再处理 开启并行 hive.exec.parallel ->修改为true,开启并行 hive.exec.parallel.thread.number 设置并行的个数 开启JVM重用...
Hive数据倾斜的优化配置
fwdwqdwq的博客
03-14 397
Hive本质 Hive的本质其实就是 Hdfs+MapReduce，HDFS存储、MR执行任务 发生数据倾斜的原因 1.数据本身倾斜 内容倾斜、group by倾斜、小表Join大表 2.过多 Join过多导致Job过多、小文件过多、Mapper或Reducer过多 3.SQL语句使用问题 count（distinct）->全盘扫描 join … where 笛卡尔乘积 关于数据倾斜见我的博客： 大数据常见问题：数据倾斜的原理及处理方案_AriesLY0411的博客-CSDN博客 解决方案 模型设计
【Hive】（十五）Hive 数据倾斜与调优
云祁QI
01-28 1469
文章目录一、什么是数据倾斜？二、Hadoop 框架的特性三、主要表现四、容易数据倾斜情况五 、产生数据倾斜的原因六、业务场景1、空值产生的数据倾斜（1）场景说明（2）解决方案（3）总结2、不同数据类型关联产生数据倾斜（1）场景说明（2）解决方案3、大小表关联查询产生数据倾斜 一、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。 二、Hadoop 框架的特性 A、不怕数...
Hive解决数据倾斜的各种优化方法
TRX的博客
01-20 6167
一、概念 数据处理中的数据倾斜：个人理解，在数据处理的MapReduce程序中，由于数据的特殊性，数据中存在大量相同key的数据，根据业务需求需要对这个key进行分区操作（group by/join）时，在map的partition阶段将大数据量的相同key的数据全部分配到同一个Reduce，导致Reduce的节点数据量分配极度不均衡的现象，称为数据倾斜。 数据倾斜有哪些表现： 最直观的表现就是：Hive SQL运行得慢 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量.
Hive 数据倾斜（调优）
weixin_45303716的博客
03-02 243
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、数据倾斜的原因 (1)key分布不均匀 (2)业务数据本身的特性 (3)建表时考虑不周 (4)某些SQL语句本身就有数据倾斜 3、容易数据倾斜情况 4、主要表现 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。 单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。 5
Hive数据倾斜优化
程序员小陶的大数据分享
11-20 248
Hive数据倾斜 Group By 中的计算均衡优化 1.Map端部分聚合 先看看下面这条SQL，由于用户的性别只有男和女两个值 （未知）。如果没有map端的部分聚合优化，map直接把groupby_key 当作reduce_key发送给reduce做聚合，就会导致计算不均衡的现象。虽然map有100万个，但是reduce只有两个在做聚合，每个reduce处理100亿条记录。 selectuser...
Hive 数据倾斜的优化
雨果等夏天的博客
08-12 299
一：Hive数据倾斜产生的原因和解决方案 1.1：原因： 数据倾斜产生的原因是有与数据的key的分布严重不均导致的，少部分Reduce Job接收了大部分数据。所以业务逻辑、数据量、代码、以及集群配置都会导致数据倾斜。 2.2 解决方案 1：参数优化 set hive.map.aggr=true （在map中会做部分聚集操作，效率更高但需要更多的内存) set hive.groupby.skewindata=true;(数据倾斜时负载均衡,当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJ
Hive优化
weixin_43907316的博客
04-02 86
Hive优化 1）MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。
Hadoop数据仓库Hive详解与学习
"hive 学习笔记" Hive是基于Hadoop的数据仓库工具，设计目标是为了解决大数据的存储和查询问题，使用户能够使用SQL-like的语言（Hive QL）对分布式存储的大规模数据进行分析。Hive的核心概念包括以下几个方面： 1....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值