[HIVE] 源码解析SQL->MR [GroupBy]

最新推荐文章于 2021-02-17 16:09:31 发布
最新推荐文章于 2021-02-17 16:09:31 发布
阅读量281 收藏 1
点赞数
文章标签： 大数据 python
原文链接：https://my.oschina.net/u/204498/blog/2885371
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、数据准备

 join_d1.c1<int>join_d1.c2<string>join_d1.c3<double>join_d1.c4<string>
 1a1.1a
 2b1.2b
 3c1.3c
 4d1.4d
 2e1.5e
 3f1.6f

二、查看执行计划

Case1: select c1 from hivedemo.join_d1 where c3 > 1.2 group by c1

hive> explain select c1 from hivedemo.join_d1 where c3 > 1.2 group by c1;
OK
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: join_d1
            Statistics: Num rows: 4 Data size: 50 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: (c3 > 1.2) (type: boolean)
              Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: c1 (type: int)
                outputColumnNames: c1
                Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
                Group By Operator
                  keys: c1 (type: int)
                  mode: hash
                  outputColumnNames: _col0
                  Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
                  Reduce Output Operator
                    key expressions: _col0 (type: int)
                    sort order: +
                    Map-reduce partition columns: _col0 (type: int)
                    Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
      Reduce Operator Tree:
        Group By Operator
          keys: KEY._col0 (type: int)
          mode: mergepartial
          outputColumnNames: _col0
          Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 1 Data size: 12 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

Time taken: 0.031 seconds, Fetched: 48 row(s)

Map阶段：以c1为key,组成HiveKey，相同的c1值会被过滤。在close时候，flush到hdfs上。以key是以c1组成的HiveKey，value是空值。ByteWritable。

Reduce阶段：输出key即可

 

首先该SQL，分为两个Stage，

Stage0是FetchTask。是依赖于Stage1的。FetchTask会生成FetchOperator。 获取Stage1的FileSinkOperator的数据

Stage1是的

Map阶段

ExecMapper(MapOperator)读取每行数据  -> TableScanOperator -> FilterOperator(c3 > 1.2) -> SelectOperator -> GroupByOperator

Reduce阶段

ExecReduer读取数据 -> GroupByOperator -> FileSinkOperator

 

过程如下：

Map阶段

ExecMapper (MapOperator)从HDFS上读取第一行数据1,a,1.1,a -> TableScanOperator(可做limit限制) -> FilterOperator (1.1 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第一行数据2,b,1.2,b -> TableScanOperator(可做limit限制) -> FilterOperator (1.2 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第三行数据3,c,1.3,c -> TableScanOperator(可做limit限制) -> FilterOperator (1.3 > 1.2) true -> SelectOperator 选择c1 -> GroupByOperator(获取3的hashcode，作为hashAggregation的key。value=aggr函数的值，本例中为空。如果key已经存在，则更新。没有则创建)

.. 依次迭代下去

 

当Map阶段结束后，flush到hdfs，以hasAggregations的key为Key，

Reduce阶段

ExecReduer (ReducerOperator) 从HDFS上读取第一行数据，比如 3为key，空为value -> GroupByOperator(更新hashAggregation，本例中无需更新)。 设置当前的key为3. 注意：因为MR默认是key排序的，所以，当出现key不等于当前key时候，后面的数据再也不出现之前的key，所以需要把结果flush到hdfs上。

->当key出现不同时，需要flush数据，即调用GroupByOperator.forward() -> FileSinkOperator

    

Case2: select c1,count(c2) from hivedemo.join_d1 where c3 > 1.2 group by c1

hive> explain select c1,count(c2) from hivedemo.join_d1 where c3 > 1.2 group by c1;
OK
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: join_d1
            Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: (c3 > 1.2) (type: boolean)
              Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: c1 (type: int), c2 (type: string)
                outputColumnNames: c1, c2
                Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
                Group By Operator
                  aggregations: count(c2)
                  keys: c1 (type: int)
                  mode: hash
                  outputColumnNames: _col0, _col1
                  Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
                  Reduce Output Operator
                    key expressions: _col0 (type: int)
                    sort order: +
                    Map-reduce partition columns: _col0 (type: int)
                    Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
                    value expressions: _col1 (type: bigint)
      Reduce Operator Tree:
        Group By Operator
          aggregations: count(VALUE._col0)
          keys: KEY._col0 (type: int)
          mode: mergepartial
          outputColumnNames: _col0, _col1
          Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

Time taken: 0.038 seconds, Fetched: 51 row(s)

Map阶段：以c1为key,组成HiveKey，相同的c1值，会把value进行aggr函数处理。即UDAF的iterate(AggregationBuffer agg,Object[] parameters)

Reduce阶段：读取key，然后把values进行aggr函数处理，即UDAF的merge(AggregationBuffer agg,Object partial)

 

首先该SQL，分为两个Stage，

Stage0是FetchTask。是依赖于Stage1的。FetchTask会生成FetchOperator。 获取Stage1的FileSinkOperator的数据

Stage1是的

Map阶段

ExecMapper(MapOperator)读取每行数据  -> TableScanOperator -> FilterOperator(c3 > 1.2) -> SelectOperator -> GroupByOperator

Reduce阶段

ExecReduer读取数据 -> GroupByOperator -> FileSinkOperator

 

过程如下：

Map阶段

ExecMapper (MapOperator)从HDFS上读取第一行数据1,a,1.1,a -> TableScanOperator(可做limit限制) -> FilterOperator (1.1 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第一行数据2,b,1.2,b -> TableScanOperator(可做limit限制) -> FilterOperator (1.2 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第三行数据3,c,1.3,c -> TableScanOperator(可做limit限制) -> FilterOperator (1.3 > 1.2) true -> SelectOperator 选择c1 -> GroupByOperator(获取3的hashcode，作为hashAggregation的key。value=aggr函数的值，本例中count计数。如果key已经存在，则更新。没有则创建)

.. 依次迭代下去

 

当Map阶段结束后，flush到hdfs，以hasAggregations的key为Key，count计数值为value

Reduce阶段

ExecReduer (ReducerOperator) 从HDFS上读取第一行数据，比如 3为key，count计数值为value -> GroupByOperator(更新hashAggregation，本例中无需更新)。 设置当前的key为3. 注意：因为MR默认是key排序的，所以，当出现key不等于当前key时候，后面的数据再也不出现之前的key，所以需要把结果flush到hdfs上。

->当key出现不同时，需要flush数据，即调用GroupByOperator.forward() -> FileSinkOperator

 

Case3: select c1,count(distinct(c2)) from hivedemo.join_d1 where c3 > 1.2 group by c1

hive> explain select c1,count(distinct(c2)) from hivedemo.join_d1 where c3 > 1.2 group by c1;
OK
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: join_d1
            Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: (c3 > 1.2) (type: boolean)
              Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: c1 (type: int), c2 (type: string)
                outputColumnNames: c1, c2
                Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
                Group By Operator
                  aggregations: count(DISTINCT c2)
                  keys: c1 (type: int), c2 (type: string)
                  mode: hash
                  outputColumnNames: _col0, _col1, _col2
                  Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
                  Reduce Output Operator
                    key expressions: _col0 (type: int), _col1 (type: string)
                    sort order: ++
                    Map-reduce partition columns: _col0 (type: int)
                    Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
      Reduce Operator Tree:
        Group By Operator
          aggregations: count(DISTINCT KEY._col1:0._col0)
          keys: KEY._col0 (type: int)
          mode: mergepartial
          outputColumnNames: _col0, _col1
          Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 1 Data size: 50 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

Time taken: 0.022 seconds, Fetched: 50 row(s)

 

Map阶段：以c1,c2为key，且只有是第一次的newKey，才会把value进行aggr函数处理。即UDAF的iterate(AggregationBuffer agg,Object[] parameters)。这样即使多个相同的c1,c2的key，也只有第一次才会被aggr计数。当Map close时，以c1为key。

Reduce阶段：读取key，然后把values进行aggr函数处理，即UDAF的merge(AggregationBuffer agg,Object partial)

 

首先该SQL，分为两个Stage，

Stage0是FetchTask。是依赖于Stage1的。FetchTask会生成FetchOperator。 获取Stage1的FileSinkOperator的数据

Stage1是的

Map阶段

ExecMapper(MapOperator)读取每行数据  -> TableScanOperator -> FilterOperator(c3 > 1.2) -> SelectOperator -> GroupByOperator

Reduce阶段

ExecReduer读取数据 -> GroupByOperator -> FileSinkOperator

 

过程如下：

Map阶段

ExecMapper (MapOperator)从HDFS上读取第一行数据1,a,1.1,a -> TableScanOperator(可做limit限制) -> FilterOperator (1.1 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第一行数据2,b,1.2,b -> TableScanOperator(可做limit限制) -> FilterOperator (1.2 > 1.2) false，则该行抛弃，下一行

ExecMapper (MapOperator)从HDFS上读取第三行数据3,c,1.3,c -> TableScanOperator(可做limit限制) -> FilterOperator (1.3 > 1.2) true -> SelectOperator 选择c1,c2 -> GroupByOperator(获取<3,c>的hashcode，作为hashAggregation的key。value=aggr函数的值，本例中count计数。如果key已经存在，则更新。没有则创建)

.. 依次迭代下去

 

当Map阶段结束后，flush到hdfs，以hasAggregations的key为Key，count计数值为value

Reduce阶段

ExecReduer (ReducerOperator) 从HDFS上读取第一行数据，比如 3为key，count计数值为value -> GroupByOperator(更新hashAggregation，本例中无需更新)。 设置当前的key为3. 注意：因为MR默认是key排序的，所以，当出现key不等于当前key时候，后面的数据再也不出现之前的key，所以需要把结果flush到hdfs上。

->当key出现不同时，需要flush数据，即调用GroupByOperator.forward() -> FileSinkOperator

 

转载于:https://my.oschina.net/u/204498/blog/2885371

weixin_34395205
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【硬刚Hive】HIVE源码(2):HQL 转换为 MR 源码详细解读(1)
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 536
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 HQL 转换为 MR 源码整体流程介绍 2 程序入口 — CliDriver 众所周知，我们执行一个 HQL 语句通.
[HIVE] 源码解析SQL->MR [Simple-Select-UDF]
weixin_33921089的博客
11-21 101
2019独角兽企业重金招聘Python工程师标准>>> ...
SQl语句之GroupBy
lanjie_gunger的博客
03-10 631
例子： SELECT Customer,SUM(OrderPrice) FROM Orders GROUP BY Customer 需要注意的是，select的对象只能是分组的字段和聚合函数，比如依据Customer来分组，就只能选择Customer，以及其他聚合函数。
mysql group by 源码_6. sharding-jdbc源码之group by结果合并(1)
weixin_31830389的博客
02-17 260
阿飞Javaer，转载请注明原创出处，谢谢！在5. sharding-jdbc源码之结果合并中已经分析了OrderByStreamResultSetMerger、LimitDecoratorResultSetMerger、IteratorStreamResultSetMerger，查看源码目录下ResultSetMerger的实现类，只剩下GroupByMemoryResultSetMerger和...
Scala集合函数groupBy源码分析
Mr_kidBK的博客
03-08 1693
groupBy源码分析 创建一个可变map对象m->【k:K v:mutable.Bulder[A,Repr]】 这里的Bulder 元素为A，构建类型为Repr,它可以通过+=来向构造器中添加元素，通过result返回得到一个任意类型的集合！ 遍历集合，向m中添加元素，key为传过来的集合中的元素通过函数f()计算返回的结果，如果该key是在m中没有，则创建一个元素类型为A,构建...
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
03-19
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
SQL、Hive SQL等SQL血缘解析工具
01-14
Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2)...
flink-sql-connector-hive-3.1.2_2.12-1.12.0.jar flink整合hive3资源包
07-06
由于jar包的下载速度很慢，我想也有很多下载慢的同学，分享下
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
11-16
flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
[HIVE] 源码解析SQL->MR [Simple-Select]
weixin_33725270的博客
11-21 129
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据Spark “蘑菇云”行动第106课：Hive源码大师之路第四步：Hive中GroupBy和各种类型Join源码剖析
段智华的博客
12-26 975
大数据Spark “蘑菇云”行动第106课：Hive源码大师之路第四步：Hive中GroupBy和各种类型Join源码剖析  create.....skewed by(key) on。。。   set hive.optimize.skewjoin.compiletime  hive.skewjoin.key /**    * Process the row.    *    
Hive优化，基于MR的分析
qq_43518599的博客
11-27 679
Hive优化总结 优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几...
Hive性能调优之Group By
Mr.pan felix的专栏
07-29 933
默认情况下，map阶段同一key数据分发给同一reduce，如果单一key过大就很容易造成数据倾斜。（100条数据分组后一组90条，一组10条，这就会数据倾斜） 这样的话，我们就可以预先在map端进行一些聚合操作，减轻reduce端的压力。 常用参数： --是否在 Map 端进行聚合，默认为 True hive.map.aggr = true --在 Map 端进行聚合操作的条目数目 hive.groupby.mapaggr.checkinterval = 100000 --有数据倾斜的时候进行负载
Hive -【group by】深刻理解，以及数据倾斜、与distinct区别（去重统计）
神是念着倒
09-21 3591
Hive【group by】深刻理解
Hive – Group By 的实现
jxlhc09的专栏
12-25 1154
准备数据 hive> SELECT * FROM logs; a 苹果 5 a 橙子 3 a 苹果 2 b 烧鸡 1 hive> SELECT uid, SUM(COUNT) FROM logs GROUP BY uid; a 10 b 1 计算过程 默认设置了hive.map.aggr=true，所以会在mapper端先group by一次，最后再把结
Hive Group By 实现
半日闲的博客
09-11 2123
GroupByOperator 代码走读 在ExecReducer中会调用 reducer.startGroup();和reducer.endGroup();，这两个方法会递归调用到GroupByOperator中，用于设置firstRowInGroup = true和keysCurrentGroup.clear(); 进入processOp方法，首先判断如果hashAggr如果没有实现一半以...
hive之group by详解
热门推荐
我的博客
05-10 5万+
有部分是转自:https://blog.csdn.net/lzm1340458776/article/details/43230517hive distribute by 和group by 的区别：group by是对检索结果的保留行进行单纯分组，一般总爱和聚合函数一块用例如AVG（），COUNT（），max（），main（）等一块用。 group by操作表示按照某些字段的值进行分组，有相同的...
Hive Group By的实现原理
Amazingjadewu
04-09 6223
group by多字段 select rank, isonline, count(*) from city group by rank, isonline; 将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程） group...
帮我写一个数据处理流程从log文件--》Flume--》HDFS--》Hive(ODS)-->DWD-->DWS-->ADS-->上层应用
最新发布
06-10
好的，下面是数据处理的流程： 1. log文件采集：使用Flume采集服务器的日志文件，Flume可以通过配置文件来实现日志文件的读取和传输。...而Hive则提供了SQL查询接口，方便数据分析人员进行数据查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值