查看Hql执行计划及关键步骤说明

最新推荐文章于 2022-10-10 21:36:06 发布
最新推荐文章于 2022-10-10 21:36:06 发布
阅读量733 收藏 3
点赞数
分类专栏： 大数据 文章标签： hadoop
原文链接：https://blog.csdn.net/heroicpoem/article/details/100535316?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-3
版权

1、查看执行计划方法

语法：explain [extended] Hiveql;

/*例子：*/
explain select count(distinct mobilename) from testtab_small;	

   
   

   
   
  • 1
  • 2

2、执行计划基本要素

  1. 主要步骤及依赖关系，从上到下
  2. 各主要步骤关键信息，包括：
关键信息关键字说明
Map或reduce操作Map Operator Tree、Reduce Operator Treemap、reduce阶段
扫描表TableScan要查询的表
表数据量统计Statistics包括行数、数据大小
查询算子Select Operator要检索的字段
分区算子Group By Operator聚合如count()等需要
排序sort order是否排序，+表排序，空不排序
是否本地任务Local Work、Local Tables、Map Local Operator Tree见于Map端的连接，有小表参与连接、且auto.convert.join=true
连接算子Join Operator连接
连接条件condition map连接条件：Left Outer Join0 to 1

2、explain select count(distinct mobilename) from testtab_small

完整的执行计划示例。之后的主要体现差异，不是全部，比如删除Stage0部分。

/*整体步骤，从上往下看*/
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
Stage: Stage-1
Map Reduce
Map Operator Tree:
/扫描的表/
TableScan
alias: testtab_small
/表数据量统计，13条，629字节？/
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Select Operator
/检索的字段是mobilename/
expressions: mobilename (type: string)
outputColumnNames: mobilename
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Group By Operator
/聚合操作/
aggregations: count(DISTINCT mobilename)
keys: mobilename (type: string)
mode: hash
outputColumnNames: _col0, _col1
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Reduce Output Operator
key expressions: _col0 (type: string)
/+ 需要排序/
sort order: +
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Reduce Operator Tree:
Group By Operator
aggregations: count(DISTINCT KEY._col0:0._col0)
mode: mergepartial
outputColumnNames: _col0
Statistics: Num rows: 1 Data size: 16 Basic stats: COMPLETE Column stats: NONE
File Output Operator
compressed: false
Statistics: Num rows: 1 Data size: 16 Basic stats: COMPLETE Column stats: NONE
table:
input format: org.apache.hadoop.mapred.SequenceFileInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

Stage: Stage-0
Fetch Operator
limit: -1
Processor Tree:
ListSink

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50

3、explain select count(mobilename) from testtab_small;

  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: testtab_small
            Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: mobilename (type: string)
              outputColumnNames: mobilename
              Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
              Group By Operator
                aggregations: count(mobilename)
                mode: hash
                outputColumnNames: _col0
                Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
                Reduce Output Operator
                  sort order:
                  Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
                  value expressions: _col0 (type: bigint)
      Reduce Operator Tree:
        Group By Operator
          aggregations: count(VALUE._col0)
          mode: mergepartial
          outputColumnNames: _col0
          Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

4、全局排序

explain select * from testtab_small order by mobilename;

 
 

 
 
  • 1
  1. 无聚合算子
  2. 在Map Operator Tree下的Reduce Output Operator下就有排序了(sort order: +)
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: testtab_small
            Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: mobilename (type: string), testrecordid (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col0 (type: string)
                sort order: +
                Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col1 (type: string)
      Reduce Operator Tree:
        Select Operator
          expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string)
          outputColumnNames: _col0, _col1
          Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

5、关联小表，Map端连接

hive.auto.convert.join=true /默认值/

hive> explain select a.testrecordid,a.mobilename,b.mobilename from testtab_small a left join testtab_small2 b on a.testrecordid=b.testrecordid;	

 
 

 
 
  • 1
  1. 总步骤增至3个
  2. 多了本地任务，Map Reduce Local Work。即hadoop的分布式缓存技术
  3. Map Join Operator
STAGE DEPENDENCIES:
  Stage-4 is a root stage
  Stage-3 depends on stages: Stage-4
  Stage-0 depends on stages: Stage-3

STAGE PLANS:
Stage: Stage-4
Map Reduce Local Work
Alias -> Map Local Tables:
h d t hdt hdt_1:b
Fetch Operator
limit: -1
Alias -> Map Local Operator Tree:
h d t hdt hdt_1:b
TableScan
alias: b
Statistics: Num rows: 13 Data size: 655 Basic stats: COMPLETE Column stats: NONE
Select Operator
expressions: mobilename (type: string), testrecordid (type: string)
outputColumnNames: _col0, _col1
Statistics: Num rows: 13 Data size: 655 Basic stats: COMPLETE Column stats: NONE
HashTable Sink Operator
keys:
0 _col1 (type: string)
1 _col1 (type: string)

Stage: Stage-3
Map Reduce
Map Operator Tree:
TableScan
alias: a
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Select Operator
expressions: mobilename (type: string), testrecordid (type: string)
outputColumnNames: _col0, _col1
Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
Map Join Operator
condition map:
Left Outer Join0 to 1
keys:
0 _col1 (type: string)
1 _col1 (type: string)
outputColumnNames: _col0, _col1, _col2
Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
Select Operator
expressions: _col1 (type: string), _col0 (type: string), _col2 (type: string)
outputColumnNames: _col0, _col1, _col2
Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
File Output Operator
compressed: false
Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
table:
input format: org.apache.hadoop.mapred.SequenceFileInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
Local Work:
Map Reduce Local Work

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57

6、Reduce端连接

hive.auto.convert.join=false
与5相同的语句，Reduce端连接执行计划：

  1. Map Operator Tree里有2个评级的TableScan，对应Mapper多个数据来源
  2. Reduce Operator Tree下Join Operator：reduce端连接。
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: a
            Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: mobilename (type: string), testrecordid (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col1 (type: string)
                sort order: +
                Map-reduce partition columns: _col1 (type: string)
                Statistics: Num rows: 13 Data size: 629 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col0 (type: string)
          TableScan
            alias: b
            Statistics: Num rows: 13 Data size: 655 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: mobilename (type: string), testrecordid (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 13 Data size: 655 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col1 (type: string)
                sort order: +
                Map-reduce partition columns: _col1 (type: string)
                Statistics: Num rows: 13 Data size: 655 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col0 (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Left Outer Join0 to 1
          keys:
            0 _col1 (type: string)
            1 _col1 (type: string)
          outputColumnNames: _col0, _col1, _col2
          Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col1 (type: string), _col0 (type: string), _col2 (type: string)
            outputColumnNames: _col0, _col1, _col2
            Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 14 Data size: 691 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
                                </div><div><div></div></div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                            </div>
follweme888
关注
专栏目录
Hive实验5：查看Hql执行计划及关键步骤说明
heroicpoem的专栏
09-04 5307
1、查看执行计划方法 语法：explain [extended] Hiveql; /*例子：*/ explain select count(distinct mobilename) from testtab_small; 2、执行计划基本要素 主要步骤及依赖关系，从上到下 各主要步骤关键信息，包括： 关键信息 关键字 说明 Map或reduce操作 Map Operator...
Hive的HQL执行计划
weixin_34362991的博客
03-13 277
一个Hive查询被转换成一个序列(更多的是一个有向无环图)的阶段。这些阶段可能是映射/还原阶段，甚至可能是进行转移或文件系统操作(如移动和重命名)的阶段。执行计划输出有三个部分： 查询的抽象语法树 计划不同阶段之间的依赖关系。 每个阶段的描述 执行计划语法 EXPLAIN Syntax Hive provides an EXPLAIN c...
[一起学Hive]之十九-使用Hive API分析HQL的执行计划、Job数量和表的血缘关系
u011250186的博客
06-30 1314
关键字：Hive HQL Job数量、Hive执行计划、Hive LineageInfo 本文介绍使用Hive的API获取一条HQL的最终执行计划，从而获取这条HQL的Job数量，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘分析时候很有用。 Hive在执行一条HQL的时候，会经过以下步骤： 语法解析：Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象 语法树AST Tree； 语义解析：遍历AST Tree，抽象...
「Hive进阶篇」HQL底层执行过程及原理详解
最新发布
大数据阶梯之路的博客
10-10 1048
HQL底层执行过程及原理详解
HQL语句执行过程
07-19 485
QueryBlock生成OperatorTree就是遍历上一个过程中生成的QB和QBParseInfo对象的保存语法的属性.**优化OperatorTree.**大部分逻辑层优化器通过变换OperatorTree，合并操作符，达到减少MapReduceJob，减少shuffle数据量的目的。.根据Antlr制定的SQL语法解析规则,完成SQL语句的词法/语法解析,将SQL转为抽象语法树AST..QueryBlock是一条SQL最基本的组成单元，包括三个部分输入源，计算过程，输出....
HQL语句大全
12-20
这里的关键步骤包括获取当前的`Session`实例，开始一个事务，使用`save`方法保存对象，提交事务，最后关闭`Session`。这确保了数据的一致性和事务的安全性。 #### 删除数据：`delete`方法 删除数据通过`delete`方法...
血缘关系解析工具源码_对hql集合进行静态分析_获取hql对应的血缘图.zip
02-24
在本项目中，源码着重于对HQL集合进行静态分析，这意味着它不会实际执行HQL查询，而是通过分析查询语句的结构来推断血缘关系。这种分析方法有助于提前发现可能的错误，例如未定义的表或字段，或者不正确的JOIN条件。...
HQL语法入门学习HQL语法入门学习
07-29
这两个方法都遵循了上述的HQL使用步骤，通过`createQuery`创建Query对象，然后设置参数并执行查询。在`findPersonByHappenDate`中，还涉及到日期的解析和设置，这是在处理时间相关的查询时常见的做法。 总结来说，...
HQL多表查询
07-26
3. **执行查询**：通过Hibernate Session的`createQuery`方法执行HQL查询，获取结果集。 通过以上步骤，开发人员能够利用HQL的强大功能，高效地处理复杂的多表关联查询，从而提高应用程序的数据处理能力和响应速度...
hql总条数.txt
06-19
- **分页查询**：在实现分页功能时，获取总条数是非常关键的步骤之一。通过结合`HQL`与`Query`的`setFirstResult`和`setMaxResults`方法，可以实现高效的分页查询。 总之，HQL提供了一种灵活且强大的方式来操作...
CDH 查询 Hive执行过的SQL语句
Java_Road_Far的博客
05-09 1196
一、打开 CDH 二、设置参数
hibernate查询之执行查询
fhd001的专栏
03-24 2495
hibernate查询之执行查询
[CDH基础]-- 通过cloudera manager管理界面添加图表
欢迎来到我的博客，一起探索代码里的世界！
03-16 8416
英文原文链接：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_metrics.html   译文如下： 本节提供有关Cloudera Manager支持的度量标准的信息。 度量是可以被测量以量化实体或活动的状态的属性。它们包括属性，例如打开的文件描述符的数量或群集中的CPU利用率百分比。 Cloudera...
hibernate分区mysql查询语句_Hibernate的5种检索方式
weixin_42119281的博客
02-15 166
Hibernate 的检索方式主要有五种，包括导航对象图检索方式、OID 检索方式、HQL 检索方式、QBC 检索方式和本地 SQL 检索方式，接下来针对 Hibernate 五种检索方式进行详细讲解。导航对象图检索方式导航对象图检索方式是根据已经加载的对象，导航到其他对象。它利用类与类之间的关系检索对象。例如，对于已经加载的学生对象，就可以利用学生对象自动导航找到该学生所对应的班级对象，但前提是...
hive如何确定map数量和reduce数量?
鸭梨的博客
11-29 3611
因为Hive底层就是MR,所以问题实际是MR如何确定map数量和reduce数量. map数量 map数量 逻辑如下 map数量=split数量 split数量=文件大小/split size splitszie=Math.max(minSize, Math.min(maxSize, blockSize)) 文件大小是固定的,所以关键是split size的确定,split size一般和块大小一样的,如果不设置的话,就是128M 举个例子 a) 假设input目录下有1个文件a,大小为780M,
Hive sql编译过程
ThreeAspects的博客
02-13 777
Hive在执行sql时会以MapReduce的方式对数据进行接入和处理，主要包含以下阶段： Hive sql的执行及编译过程： Hive首先根据sql语句中的表从HDFS文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存 Map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值 在实际应用中会有多台机器参与Map处理，Map完成后需要将带有...
[Hive]看懂Hive的执行计划
henku449141932的博客
09-19 2200
关于Hive执行计划简述 一般执行计划有两个部分： stage dependencies 各个stage之间的依赖性 stage plan 各个stage的执行计划 一个stage并不一定是一个MR，有可能是Fetch Operator，也有可能是Move Operator。 一个MR的执行计划分为两个部分： Map Operator Tree MAP端的执行计划 Reduce Op...
sql 执行计划
weixin_46294247的博客
06-10 5549
执行计划
【MySQL】SQL执行计划分析
热门推荐
多多说happy的博客
01-09 2万+
MySQL EXPLAIN命令是查询性能优化不可缺少的一部分，该文主要讲解explain命令的使用及相关参数说明。
尚硅谷Hive调优教程-查看执行计划与优化
"尚硅谷大数据技术之Hive调优，主要探讨了如何对Hive进行优化，包括Explain命令的使用来查看执行计划，以及通过实际案例来演示优化过程。" 在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值