hive多个表join_Hive的join底层mapreduce是如何实现的?

最新推荐文章于 2022-03-20 19:45:46 发布
VIP文章 最新推荐文章于 2022-03-20 19:45:46 发布
阅读量971 收藏 3
点赞数 2
文章标签： hive多个表join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39609620/article/details/112228951
版权

Hive中的Join可分为两种情况

  • Common Join(Reduce阶段完成join)

  • Map Join(Map阶段完成join)

1

Common Join

       如果没开启hive.auto.convert.join=true或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,在Reduce阶段完成join。并且整个过程包含Map、Shuffle、Reduce阶段。1 Map阶段

         读取表的数据，Map输出时候以 Join on 条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为key;
         Map输出的 value 为 join 之后需要输出或者作为条件的列；同时在value中还会包含表的 Tag 信息，用于标明此value对应的表；按照key进行排序

2 Shuffle阶段

     根据key取哈希值,并将key/value按照哈希值分发到不同的reduce中

3 Reduce阶段

      根据key的值完成join操作，并且通过Tag来识别不同表中的数据。在合并过程中，把表编号扔掉

最低0.47元/天 解锁文章
weixin_39609620
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive多个表join_Hive的三种Join方式
weixin_30674575的博客
02-15 3350
select /*+ MAPJOIN(time_dim)*/ count(1)fromstore_salesjointime_dimon (ss_sold_time_sk = t_time_sk)2) 需要做不等值join操作(a.x < b.y 或者 a.x like b.y等)这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误如果把不等于写到where里...
【大数据面试常问问题】----Hive中两张表关联，使用MapReduce怎么实现
c美食家的博客
01-21 1696
情况一 如果其中一张表为小表，可以直接在map端join的方式进行聚合 情况二 如果两张表都是大表，可以采用联合key的方式进行聚合。联合key的第一个部分join on的部分为公共字段，第二部分添加一个flag，就是一个标记，用来区分两张表，0代表着表A，1代表着表B。用来让Reduce端区分两张表的信息。在Mapper进行表的处理，join on公共字段相同的数据划分到同一个分区中，进而传输...
Hive JOIN使用详解
鲍礼彬的CSDN博客 ~_~
05-30 1103
Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job。 对于最基本的HQ
hive join对应的mapreduce代码
zztSky
03-25 290
只有理解了join 底层的mr代码如何实现，那你才能写出更好的sql，以及更好的优化。 加入有一下sql select * from tableA a inner join tableB b on a.model_id= b.model_id 要想深刻的理解这个sql你就得知道他的底层mr到底发生了什么，I will show you 首先我们来了解一下他的explain STAGE DE...
Hive的多种JOIN优化
qq_654603797
03-20 2083
案例一： select a.id,a.number,b.number,c.number from table_tmp a join table_tmp b on a.id = b.id join table_tmp c on a.id = c.id where a.business = 'A' and b.business = 'B' and c.business = 'C' 如上例中，Hive会对每对join连接对象启动一个MaoReduce任务。首先启动一个MapReduce job对表a和
hive多个表join_Hive Join详解
u011250186的博客
08-23 2164
Join原理 Hive执行引擎会将HQL“翻译”成为MapReduce任务，如果多张表使用同一列做Join,将被“翻译”成一个MapReduce任务，否则会被“翻译”成多个MapReduce任务 例如：以下将被“翻译”成1个MapReduce任务 SELECT talble1.val,table2.val,table3.val from table1 JOIN table2 ON (table1.key=table2.key1) JOIN table3 ON(table3.key = table2..
hive 底层模块实现-join
由心开始，随处可往
01-18 1437
准备数据语句SELECT a.uid,a.name,b.age FROM logs a JOIN users b ON (a.uid=b.uid);我们希望的结果是把users表join进来获取age字段。hive> SELECT * FROM logs; OK a 苹果 5 a 橙子 3 b 烧鸡 1hive> SELECT * FROM users; OK a 23 b
MapReduce实现两表关联查询
m0_46560176的博客
10-18 811
数据说明：现有贷款表和汇率表。 其中贷款表（以下简称表一）字段为项目序号,行业,项目类别,币种ID,贷款金额,实际提款额,已还本金额,利息金额。 汇率表（以下简称表二）字段为币种ID,兑换价格,币种名称。 问题描述：使用mapreduce进行数据处理，根据汇率表把贷款表中的币种ID替换成币种名称；根据汇率表在贷款表中增加贷款金额_人民币,实际提款额_人民币,已还本金额_人民币,利息金额_人民币 四列，汇率转换后的数据（汇率表中币种ID与 贷款表中币种ID进行关联）。 实现思路：在map阶段使用币种i
【Hive】Join的 MR 底层原理
康师傅没有眼泪
04-10 4632
Hive Map Join如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、Shuffle、Reduce阶段。读取源表的数据，Map输出时候以 Join on 条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为key; Map输出的 value 为 join 之后所关心的(select或者where中需要用到的)列...
利用Hive进行复杂用户行为大数据分析及优化案例
02-20
02_Hive表批量加载数据的脚本实现（一） 03_Hive表批量加载数据的脚本实现（二） 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析...
快速学习-Hive企业级调优
01-07
在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。 hive.fetc
Hive on Spark EXPLAIN statement
03-27
Hive on Spark EXPLAIN statement : 讲述了 Common Join / Map join / Bucket Map Join / Sorted Merge Bucket Map Join / skew join 在explain 中的 树结构 。In Hive, command EXPLAIN can be used to show the ...
Hive查询sql left join exists
10-20
里面 一个例子，说了几个需求，基本能符合，我要使用的功能，左外连接，还有exists替代方案，都很实用，结合文档看一下。
【63课时完整版】大数据实践HIVE详解及实战
09-20
39.Hive表批量加载数据的脚本实现（二） 40.HIve中的case when、cast及unix_timestamp的使用 41.复杂日志分析-需求分析 42.复杂日志分析-需求字段讲解及过滤 43.复杂日志分析-字段提取及临时表的创建 44.复杂日志...
MapReduce实现hive join操作
Cumu Blog
10-30 4335
1. hive中join就是一条select语句，其个性
Hive中Join的 MR 底层原理
鸭梨的博客
02-03 638
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join） 一、 Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、Shuffle、Reduce阶段。 Map阶段 读取源表的数据，Map输出时候以 Join on 条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为
Hive
fliedwuya的博客
07-22 165
1.Hive表关联查询，如何解决数据倾斜的问题 1）倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1）key分布不均匀; （2）业务数据本身的特性; （3）建表时考虑不周; （4）某些SQL语句本身就有数据倾斜; 如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。 2）解决方案 （1）参数调节： hive.map.aggr = true hive.groupby.sk
大数据学习(四)-用MapReduce实现表关联
anLA_的专栏
03-23 1073
前面使用MapReduce，可以进行单词计数，单词去重，数字排序等，那么结合到数据库应用， 如何实现表关联呢？ MapReduce更像算法题，怎么通过Map和Reduce这两个步骤来实现关联，得到所需数据呢？ 例如有一张表，里面两个字段，child和parent，现在让你找出里面的grandChild和grandParent来。 ...
hive分区表 left join 底层运行机制
最新发布
09-23
Hive分区表的left join底层运行机制是通过MapReduce作业来实现的。当执行left join操作时，Hive会先将两个表的分区数据按照相同的分区键进行分组，然后对每个分组进行join操作。 具体的步骤如下： 1. Hive会根据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值