关于hive中join的一些优化事项

最新推荐文章于 2019-08-06 19:01:00 发布
最新推荐文章于 2019-08-06 19:01:00 发布
阅读量448 收藏
点赞数
分类专栏： hadoop开发运维 文章标签： hive join 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanggaokai/article/details/72888441
版权

JOIN 原则 :

在使用写有 Join 操作的查询语句时有一条原则：

应该将条目少的表/子查询放在 Join 操作符的左边 

原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，

可以有效减少发生 OOM 错误的几率 。

Map Join Join 操作在 Map 阶段完成，不再需要Reduce，前提条件是需要的数据在 Map 的过程中可以访问到.


woqiang68
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive优化学习(join ,group by,in)
写博客只为学习
04-05 696
[color=red][b]一、join优化 [/b][/color] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中...
hive join优化
糯米多排骨的专栏
08-07 1315
整理两年前草稿 MapJoin在使用合理的情况下性能优于普通Join，可以通过显式的优化器提示让执行计划采用mapjoin，这在大部分hive的优化文章中都有介绍，这里想说的是可以通过配置hive的参数，在join中存在小表时优化器自动采用mapjoin完成连接操作，设置参数如下： hive.auto.convert.join = true hive.smalltable.filesize
hive sql join优化
zhaomeng1123的专栏
01-06 702
1.分区过滤 分区过滤什么什么意思：如果不加分区，默认会扫描整个表的数据分区用什么来描述：一般有时间，如year，month，day，hour，当正常表的字段使用怎么知道一个表是否有分区 看表的字段是否有类似“month，day，hour”这样的字段show partitions databaseName.tableName 怎么知道加的分区是否有效：执行的sql会有日志，如果map
关于hive优化的问题
Griezmann_7的博客
11-15 193
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时是跑不完的。map reduce作业初始化的时间是比较...
hive入门学习：join的三种优化方式
HAHA的专栏
02-19 2万+
hive入门学习：join的三种优化方式               hive在实际的应用过程中，大部份分情况都会涉及到不同的表格的连接，例如在进行两个table的join的时候，利用MR的思想会消耗大量的内存，良妃磁盘的IO，大幅度的影响性能，因为shuffle真的好令人担心啊，总之，就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式。
hive 中join和Group的优化
01-07
group by 优化 set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive....
hive sql + left join 数据缺失
02-29
随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现 问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT ...
Hive优化（提高hive运行速度）
01-20
在大数据处理领域，Apache Hive 是...同时，Hive 优化还包括其他方面，如分区、桶表、元数据优化、join 操作优化等，这些也是提升 Hive 性能的重要手段。对于大型企业或复杂的分析需求，综合运用各种优化技巧是必要的。
Hive脚本任务参数优化配置.doc
最新发布
03-05
3. **Map Join优化**： - `set hive.auto.covert.join=true;` 开启自动转换Join类型的功能，Hive会根据数据大小自动选择最优的Join方式。 - `set hive.mapjoin.smalltable.size=2500000;` 设置小表大小阈值，小于...
Hive SQL性能优化
02-26
#### 三、Hive SQL优化技巧与注意事项 1. **列裁剪和分区裁剪**： - **分区裁剪**：通过WHERE子句中的条件来指定查询特定的分区，避免全表扫描，显著提高查询效率。 - **列裁剪**：仅选择需要的列，减少数据传输...
Hive 查询优化总结
weixin_30633949的博客
07-16 61
一、join优化 Join查找操作的基本原则：应该将条目少的表/子查询放在Join操作符的左边。原因是在Join操作的Reduce阶段，位于Join操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred...
Hive中的join
03-11 1065
join 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边。原因是在join的操做的reduce阶段，位于join操作符左边的表的内容会被加载进入内存，将条目少的表放在左边，可以有效的减少发生OOM错误的几率。
总结：Hive性能优化上的一些总结
热门推荐
MrLevo520的博客
07-29 4万+
注意，本文百分之九十来源于此文:Hive性能优化，很感谢作者的细心整理，其中有些部分我做了补充和追加，要是有什么写的不对的地方，请留言赐教，谢谢前言 今天电话面试突然被涉及到hive上有没有做过什么优化，当时刚睡醒，迷迷糊糊的没把以前实习的中遇到的一些问题阐述清楚，这里顺便转载一篇并来做一下总结 介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数
一例 Hive join 优化实战
weixin_33688840的博客
08-29 256
2019独角兽企业重金招聘Python工程师标准>>> ...
关于hive中Map join 时大表left join小表的问题
weixin_30567225的博客
08-06 2046
在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。 在MySQL中，left join加载从左向右，即join左边的表会先加载进内存，与右边表进行join。 mapjoin时要让小表进内存，大表进内存的话可能会因...
hive优化
刘瑞东的专栏
04-14 1718
1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m 2.hive默认建表时的路径也可以在hive-site.xml里配置，如下: hive.metastore.warehouse.dir value >/user/hive/warehouse description >l
Hive---Join 优化
BestbpF的博客
11-06 3071
1、连接顺序优化多表连接，会转换成多个MR Job，每一个MR Job在Hive中称为JOIN阶段（Stage）。在每一个Stage，按照JOIN顺序中的最后一个表应该尽量是大表，因为JOIN前一阶段生成的数据会存在于Reducer的buffer中，通过stream最后面的表，直接从Reducer的buffer中读取已经缓冲的中间结果数据（这个中间结果数据可能是JOIN顺序中，前面表连接的结果的Ke
为什么MySQL不推荐使用子查询和join
大头大头编码不愁
08-08 2万+
前言： 1.对于mysql，不推荐使用子查询和join是因为本身join的效率就是硬伤，一旦数据量很大效率就很难保证，强烈推荐分别根据索引单表取数据，然后在程序里面做join，merge数据。 2.子查询就更别用了，效率太差，执行子查询时，MYSQL需要创建临时表，查询完毕后再删除这些临时表，所以，子查询的速度会受到一定的影响，这里多了一个创建和销毁临时表的过程。 3.如果是JOIN的话，它...
Hive - 数据仓库的性能优化
Mike han
12-01 1362
没办法，一看到好的文章，就忍不住摘抄下来。这篇文章已经放在有道笔记里面好几个月了，还是赶紧晒出来吧，面对发霉了！ 文章源路径：http://itindex.net/detail/52503-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93-sql-%E6%80%A7%E8%83%BD 一个Hive查询生成多个Map Reduce Job，一个Map Reduce J
hive中join优化
05-04
Hive中Join优化可以通过以下几种方式实现： 1. 建立索引：在Join的关键字段上建立索引，可以加快Join的速度。 2. 调整Join的顺序：在Join多个表时，可以通过调整Join的顺序，使得Join的数据量最小化，从而提高Join...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值