Hive调优方式

最新推荐文章于 2024-11-08 20:58:33 发布
最新推荐文章于 2024-11-08 20:58:33 发布
阅读量555 收藏
点赞数
分类专栏： hive 文章标签： hive hbase java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58078092/article/details/121386073
版权
本文介绍了Hive的优化技巧，包括建表注意事项、查询优化策略、数据倾斜优化和作业优化。建表时强调分区、分桶，选择合适的存储格式和压缩，以及规范命名。查询优化涉及分区裁剪、分区分桶、子查询和排序方式。针对数据倾斜问题，分析了原因和表现，并提出了解决方案，如业务优化、数据过滤和key分布调整。作业优化则关注mapper和reducer数量的调整及参数配置。
摘要由CSDN通过智能技术生成

文章目录

一、建表注意事项

1、分区、分桶

一般按照业务日期进行分区，每天的数据放在一个分区里，这样可以查询每一天的数据，避免了全局扫描，提高效率

2、一般使用外部表，避免数据误删

3、选择适当的文件储存格式及压缩格式

常用的格式有：①TextFile 默认的存储格式
②ORCFile：列式文件存储格式，具有很强的压缩

4、命名要规范

5、数据分层，表分离，但是不要分的太散

二、查询优化

1、分区裁剪 where过滤，先过滤，后join

2、分区分桶，合并小文件

3、适当的子查询

mapjoin（1.2以后自动默认启动mapjoin）
select /+mapjoin(b)/ a.xx,b.xxx from a left outer join b on a.id=b.id
左连的时候，大表在左边，小表在右边。

4、排序方式

order by 语句： 是全局排序
sort by 语句： 是单reduce排序
distribute by语句： 是分区字段;
cluster by语句：
可以确保类似

最低0.47元/天 解锁文章
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 1057
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
Hive系列 (十)：Hive调优
Eric Ray的博客
09-09 3083
Hive优化详细解释
【黑马甄选离线数仓day07_常见优化手段及核销主题域开发】
LKL的博客
11-29 1262
常见优化手段及核销主题域开发_DWS开发
hive数据倾斜优化
shi_xiansheng的博客
10-16 428
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。 3、容易数据倾斜情况 4、产生数...
大数据学习11之Hive优化篇
最新发布
qq_64407249的博客
11-08 1388
数据倾斜，即单个节点任务所处理的数据量远大于同类型任务所处理的数据量，导致该节点成为整个作业的瓶颈，这是分布式系统不可能避免的问题。MapReduce 模型中，数据倾斜问题是很常见的，因为同一个 Key 的 Values，在进GroupByKey、CountByKey、ReduceByKey、Join 等操作时一定是分配到某一个节点上的一个 Task 中进行处理的，如果某个 Key 对应的数据量特别大的话，就会造成某个节点的堵塞甚至宕机的情况。
Hive-数据倾斜和作业优化
一曲无痕奈何
07-21 214
1，数据倾斜解决： 看下key的分布 处理集中的key 原因 1)、key分布不均匀（实际上还是重复） 比如 group by 或者 distinct的时候 2)、数据重复，join 笛卡尔积 数据膨胀 表现 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。 单一reduc...
Hive数据倾斜优化
程序员小陶的大数据分享
11-20 258
Hive数据倾斜 Group By 中的计算均衡优化 1.Map端部分聚合 先看看下面这条SQL，由于用户的性别只有男和女两个值 （未知）。如果没有map端的部分聚合优化，map直接把groupby_key 当作reduce_key发送给reduce做聚合，就会导致计算不均衡的现象。虽然map有100万个，但是reduce只有两个在做聚合，每个reduce处理100亿条记录。 selectuser...
Hive调优全方位指南.pdf
12-28
Hive调优全方位指南，总结了25条关于Hive调优的经验，对于大数据及hive工程师是不可多得的资源。
hive调优方式
Naerdoy的博客
03-29 3656
1.fetch（hive可以避免MapRedice）对于hive可以简单地读取employee对应的储存目录下的文件，然后输出查询结果到控制台，修改hive.fetch.task.conversion的参数为more即可 2.本地模式 设置数据出入量，设置local mr的最大输入文件个数，当输入文件滆湖小于这个值时采用local mr的方式，默认为4 3.表的优化 1.小表join大表 将key相对分散,并且数据量小的表join的左边,这个可以有效减少内存溢出错误发生的几率,在进一步可以使用gr.
Hive调优，数据工程师成神之路.pdf
10-14
Hive调优，数据工程师成神之路。
Hive 数据倾斜的优化
雨果等夏天的博客
08-12 313
一：Hive数据倾斜产生的原因和解决方案 1.1：原因： 数据倾斜产生的原因是有与数据的key的分布严重不均导致的，少部分Reduce Job接收了大部分数据。所以业务逻辑、数据量、代码、以及集群配置都会导致数据倾斜。 2.2 解决方案 1：参数优化 set hive.map.aggr=true （在map中会做部分聚集操作，效率更高但需要更多的内存) set hive.groupby.skewindata=true;(数据倾斜时负载均衡,当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJ
hive数据倾斜的优化
weixin_47699191的博客
07-29 784
一.join操作数据倾斜 1.mapjoin map join 默认开启 set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join,没有reduce阶段,没有shuffle 2.类型不一致 关联字段不一致引发的数据倾斜操作有一个a表关联字段是
Hive优化
weixin_43907316的博客
04-02 97
Hive优化 1）MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。
HIVE调优-数据倾斜优化（详细版）
2301_77836489的博客
05-14 1123
如果当前的Reduce数量为1，那么也没有优化的效果，可以通过设置reduce的数量对不同分区中的数据进行拆分排序。全局排序操作, 只有一个Reduce任务去对数据进行排序，会造成全部的数据堆积在一个Reduce任务中进行处理。2.数据重复，在关联时，会产生笛卡尔积，致使数据膨胀，严重的可能会导致集群挂掉。通过调整该参数，使得有倾斜的数据在Map reduce过程中 被随机的从Map端发送到Reduce端进行处理，reduce会对随机发送过来的数据进行 初步的处理，之后再进行后续的统计。
Hive优化(4)——数据倾斜优化
麦当当的博客
05-11 1375
数据倾斜是指在数据处理或计算过程中，某些数据分布不均匀，导致部分计算节点负载过重，从而影响整体计算性能。针对数据倾斜进行优化可以提高计算效率和资源利用率。：在数据加载或处理之前，对数据进行预处理，通过数据采样、数据分桶等方法，尽量均匀地分布数据，减少倾斜的可能性。：将数据按照某种规则或算法进行分片，使得每个分片中的数据量相对均匀，降低数据倾斜的程度。：选择合适的数据结构，如哈希表、树结构等，可以减少数据倾斜对计算性能的影响。例如，使用哈希分区可以将数据均匀地分布到不同的节点上。
【Hive-优化】Hive的优化方式四（数据倾斜优化）
weixin_53543905的博客
02-27 993
1、对于skewjoin.key，在执行job时，将它们存入临时的HDFS目录，其它数据正常执行。2、对倾斜数据开启map join操作（多个map并行处理），对非倾斜值采取普通join操作。操作是否支持倾斜数据的负载均衡处理。开启skewin以后，究竟多大的数据才会被认为是倾斜了的数据呢？如果数据量很大或者出现了数据倾斜比较严重的情况，如何来优化呢？应用了表连接倾斜优化以后，会在执行计划中插入一个新的。中存储的有数据倾斜信息时，才能生效。操作，并输出结果，这样处理的结果是。阶段的执行时间，提升总体性能。
Hive数据倾斜的优化配置
fwdwqdwq的博客
03-14 418
Hive本质 Hive的本质其实就是 Hdfs+MapReduce，HDFS存储、MR执行任务 发生数据倾斜的原因 1.数据本身倾斜 内容倾斜、group by倾斜、小表Join大表 2.过多 Join过多导致Job过多、小文件过多、Mapper或Reducer过多 3.SQL语句使用问题 count（distinct）->全盘扫描 join … where 笛卡尔乘积 关于数据倾斜见我的博客： 大数据常见问题：数据倾斜的原理及处理方案_AriesLY0411的博客-CSDN博客 解决方案 模型设计
hive大数据倾斜总结
鲍礼彬的CSDN博客 ~_~
05-19 1481
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的
hive调优explain
06-23
Hive是一个基于Hadoop的数据仓库工具，用于对结构化的数据进行查询和分析。Explain命令在Hive中是一个非常重要的工具，用于理解Hive SQL查询的执行计划，这对于优化查询性能至关重要。当你运行一个查询并添加...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值