hive中groupby优化_关于Hive优化的四种方法总结

最新推荐文章于 2021-02-23 16:42:09 发布

Caynor

最新推荐文章于 2021-02-23 16:42:09 发布

阅读量2.2k

点赞数

文章标签： hive中groupby优化

本文链接：https://blog.csdn.net/weixin_32154667/article/details/112226203

版权

本文总结了Hive优化的四种方法，包括整体架构优化、MR阶段优化、JOB优化和SQL优化。重点讨论了日期分区、数据压缩、SequenceFile存储、本地执行模式、MapJoin以及SQL查询策略等，旨在提升Hive查询效率和性能。

摘要由CSDN通过智能技术生成

一、整体架构优化

现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统.

整体架构优化点：

1、根据不同业务需求进行日期分区，并执行类型动态分区。相关参数设置： 0.14中默认hive.exec.dynamic.partition=ture

2、为了减少磁盘存储空间以及I/O次数，对数据进行压缩

相关参数设置：

job输出文件按照BLOCK以Gzip方式进行压缩。

mapreduce.output.fileoutputformat.compress=true
mapreduce.output.fileoutputformat.compress.type=BLOCK
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec

map输出结果也以Gzip进行压缩。

 mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compr

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Caynor

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HBase(15) -- 聊聊高级HBase

erainm

09-14

612

1.工作机制 2.批量装载 3.协处理器 4.事物 5.数据结构 6.调优

hive中groupby优化_工作中总结的关于hive的优化方案

weixin_33906021的博客

12-29

652

这些优化全是在公司中遇到瓶颈后的一些解决方案，精华部分，当然大数据时代任何问题的解决方法都不止一种，智者见智slow相关参数能够设置map阶段执行完成在执行ruduce，默认值是0.05，设置成1后就会让map完全拿完数据了再执行reduce阶段，这样不会因为map端数据倾斜了执行map时也在执行reduce两个阶段的槽位都被占着，也就是内存利用率问题set mapreduce.job.reduc...

参与评论您还未登录，请先登录后发表或查看评论

Hive/HiveQL常用优化方法全面总结

qq_36864672的博客

09-27

873

目录列裁剪和分区裁剪谓词下推 sort by代替order by group by代替distinct group by配置调整 map端预聚合倾斜均衡配置项 join基础优化 build table（小表）前置多表join时key相同利用map join特性分桶表map join 倾斜均衡配置项优化SQL处理join数据倾斜空值或无意义值单独处理倾斜key 不同数据类型 build table过大 MapReduce优化

hive优化基础1

mitao666的博客

12-02

2028

1.hive优化基础1 开启分桶 set hive.enforce.bucketing=true; 设置reduce个数 set mapreduce.job.reduces=3; hive表 ->orc和parquet -->ZLIB或snappy Parquet是面向分析型业务的列式存储格式 fetch抓取: 在全局找、字段查找、limit查找等都不走mapreduce. set hive.fetch.task.conversion=more;默认为 none. 本地模式 : a.

hive的一些调优参数

朝和

10-15

2615

很久以前存的，忘记是从哪篇文章扒拉下来的，里面有很多开发中会用到的参数，希望可以方便大家使用（其实记录这些也是方便后面用到的时候自己方便查看，本地存的东西有点乱了，打算换个地方再存一份）。 set hive.support.concurrency = true; 关闭表锁机制 show locks 查看表锁 set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive...

hive中groupby优化_HIVE 优化浅谈

weixin_39589693的博客

12-20

240

作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。引言随着商务/运营同学执行的HQL越来越多，整体HIVE执行效率变低，本文从HIVE切入，分析HQL面临的问题和待优化部分，结合其他大数据框架来解决实际问题。以下内容没有针对业务代码提供优化建议.常见的...

hive中groupby优化_Hive的10种优化总结

weixin_39894233的博客

12-20

396

Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。列裁剪和分区裁剪最基本的操作。所谓列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。以我们的日历记录...

hive中groupby优化_Hive 查询优化总结

weixin_39606137的博客

12-20

414

一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在Join操作符的左边。原因是在Join操作的Reduce阶段，位于Join操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred程序中。案例：SELEC...

hive中groupby优化_hivesql : hive.groupby.skewindata 和hive.map.aggr 组合的坑

weixin_39960145的博客

12-29

724

hive.map.aggr=true;在map中会做部分聚集操作，效率更高但需要更多的内存。hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不...

hive 中join和Group的优化

01-07

set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive.groupby.skewindata = true; //解决数据倾斜的万能钥匙当map阶段运行不了的时候，可以设置 set hive.map.aggr ...

python金融大数据分析豆瓣-Python金融大数据分析-PCA分析

weixin_39993454的博客

11-11

260

作者：钱塘小甲子来源：http://blog.csdn.net/qtlyx/article/details/536471591.pandas的一个技巧apply() 和applymap()是DataFrame数据类型的函数，map()是Series数据类型的函数。apply()的操作对象DataFrame的一列或者一行数据， applymap()是element-wise的，作用于每个DataFr...

【图文详细】Hive 优化策略之 Group By 优化

谦卑t

12-04

6323

hive数据倾斜优化策略

大JAVA解决方案

10-28

328

hive数据倾斜优化策略 Hive数据倾斜 Group By 中的计算均衡优化 1.Map端部分聚合先看看下面这条SQL，由于用户的性别只有男和女两个值（未知）。如果没有map端的部分聚合优化，map直接把groupby_key 当作reduce_key发送给reduce做聚合，就会导致计算不均衡的现象。虽然map有100万个，但是reduce只有两个在做聚合，每个reduce处理100亿条记录。 selectuser.gender,count(1) f...

hive中groupby优化_面试题整理(Hive)

weixin_39601929的博客

02-23

334

面试题整理(Hive)发布时间：2018-08-05 10:26,浏览次数：345, 标签：Hive1. Hive数据倾斜原因* key分布不均匀* 业务数据本身的特性* SQL语句造成数据倾斜解决方法* hive设置hive.map.aggr=true和hive.groupby.skewindata=true* 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Jo...

《离线和实时大数据开发实战》（五）Hive 优化实践

云祁QI

10-24

5274

前面，我们陆陆续续聊过了 Hadoop原理实战、 Hive 的底层原理实践，今天就来聊一聊大家最关心的 Hive 优化实践。

Hive性能调优之Group By

寒暄的博客

07-17

1217

默认情况下，map阶段同一key数据分发给同一reduce，如果单一key过大就很容易造成数据倾斜。（100条数据分组后一组90条，一组10条，这就会数据倾斜）这样的话，我们就可以预先在map端进行一些聚合操作，减轻reduce端的压力。常用参数： --是否在 Map 端进行聚合，默认为 True hive.map.aggr = true --在 Map 端进行聚合操作的条目数目 hive.groupby.mapaggr.checkinterval = 100000 --有数据倾斜的时候进行负载均衡（默

hive group by join 优化

OH LEI``

05-25

3489

group by 查询:1、遇到group by查询时，会按照group by的键进行分发。2、distinct与group by实现原理类似。group by优化：1、map端数据聚合，执行sql前先执行set hive.map.aggr=true2、针对倾斜的key做两道作业的聚合，set hive.groupby.skewindata=true。join 查询：1、将小表写在join的左边，...

hive中groupby优化_Hive基础重点知识+优化（个人总结）

weixin_30431445的博客

12-29

649

Hive基础Hive简介：(1)hql相对于MR程序没有复杂的代码，上手简单，会写sql的同学，hql也不在话下，区别不是很大。(2)Hive作为数据仓库使用，工作中常用的就是数据的查询(select)和加载(insert)1、内部表和外部表的区别：内部表删除元数据和真实数据，外部表只删除元数据2、一般创建内部表的时候，不指定location的位置，一般放在默认的hive仓库路 ...

Hive SQL性能优化：MapReduce步骤与全局策略解析

包括选择合适的数据倾斜解决方案，避免全表扫描，利用索引，以及优化JOIN、GROUP BY、SORT BY等复杂操作。例如，使用物化视图预先计算结果，或者通过子查询和连接顺序的调整来优化查询计划。此外，还需要注意Hive...