hive执行计划

最新推荐文章于 2024-04-23 18:02:45 发布
最新推荐文章于 2024-04-23 18:02:45 发布
阅读量461 收藏 2
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39259631/article/details/80599131
版权

Hql：

insert overwrite TABLE lpx SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) ;
OK

ABSTRACT SYNTAX TREE:
  (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME pokes) t1) (TOK_TABREF (TOK_TABNAME invites) t2) (= (. (TOK_TABLE_OR_COL t1) bar) (. (TOK_TABLE_OR_COL t2) bar)))) (TOK_INSERT (TOK_DESTINATION (TOK_TAB (TOK_TABNAME lpx))) (TOK_SELECT (TOK_SELEXPR (. (TOK_TABLE_OR_COL t1) bar)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL t1) foo)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL t2) foo)))))


STAGE DEPENDENCIES:
  Stage-1 is a root stage   /根
  Stage-0 depends on stages: Stage-1 /0依赖1
  Stage-2 depends on stages: Stage-0 /2依赖0

STAGE PLANS:
  Stage: Stage-1
    Map Reduce   // 这个阶段是一个 mapreduce 作业
      Alias -> Map Operator Tree:    //map 操作树，对应 map 阶段
        t1
          TableScan   // 扫描表获取数据     from加载表，描述中有行数和大小等
            alias: t1     // 表别名
            Reduce Output Operator  // 这里描述 map 的输出，也就是 reduce 的输入。比如 key ， partition ， sort 等信息 
              key expressions:   //t1 表输出到 reduce 阶段的 key 信息
                    expr: bar
                    type: string
              sort order: +  // 一个排序字段，这个排序字段是 key=bar ，多个排序字段多个 +
              Map-reduce partition columns:  // partition 的信息，由此也可以看出 hive 在 join 的时候会以 join on 后的列作为 partition 的列，以保证具有相同此列的值的行被分到同一个 reduce 中去
                    expr: bar
                    type: string
              tag: 0                         // 对 t1 表打标签
              value expressions:   // t1 表输出到 reduce 阶段的 value 信息
                    expr: foo
                    type: int
                    expr: bar
                    type: string
        t2
          TableScan
            alias: t2
            Reduce Output Operator
              key expressions:
                    expr: bar
                    type: string
              sort order: +
              Map-reduce partition columns:
                    expr: bar
                    type: string
              tag: 1
              value expressions:
                    expr: foo
                    type: int
      Reduce Operator Tree:  //reduce 操作树，相当于 reduce 阶段
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col0} {VALUE._col1} //对应前面 t1.bar, t1.foo
            1 {VALUE._col0} // 对应前面t2.foo
          handleSkewJoin: false //是否处理倾斜join
          outputColumnNames: _col0, _col1, _col5
          Select Operator // 筛选列，描述中有列名、类型，输出类型、大小等。
            expressions:
                  expr: _col1
                  type: string
                  expr: _col0
                  type: int
                  expr: _col5
                  type: int
            outputColumnNames: _col0, _col1, _col2   // 为临时结果字段按规则起的临时字段名
            File Output Operator // 输出结果到临时文件中，描述介绍了压缩格式、输出文件格式。
              compressed: false
              GlobalTableId: 1
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
                  name: default.lpx
  Stage: Stage-0
    Move Operator // Stage-0简单把结果从临时目录，移动到表 lpx 相关的目录。
      tables:
          replace: true
          table:
              input format: org.apache.hadoop.mapred.TextInputFormat
              output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
              serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
              name: default.lpx

  Stage: Stage-2
    Stats-Aggr Operator
从信息头：
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1
  Stage-2 depends on stages: Stage-0
 从这里可以看出 Plan 计划的 Job 任务结构，整个任务会分为 3 个 Job 执行，
第一个 Job 将由 Stage-1 构成 ;
 第二个 Job 处理由 Stage-0 构成， Stage-0 的处理必须依赖 Stage-1 阶段的结果 ;
 第三个 Job 处理由 Stage-2 构成， Stage-2 的处理必须依赖 Stage-0 阶段的结果。

下面分别解释 Stage-1 和 Stage-0 ，执行 SQL 可以分成两步：
(1) 、 SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar);
(2) 、 insert overwrite TABLE lpx;
    Stage: Stage-1 对应一次完整的 Map Reduce 任务，包括： Map Operator Tree 和 Reduce Operator Tree 两步操作 ,Map Operator Tree 对应 Map 任务， Reduce Operator Tree 对应 Reduce 任务。
        从 Map Operator Tree 阶段可以看出进行了两个并列的操作 t1 和 t2 ，分别 SELECT t1.bar, t1.foo FROM t1; 和 SELECT t2.foo FROM t2; 而且两个 Map 任务分别产生了 Reduce 阶段的输入 [Reduce Output Operator] 。
     从 Reduce Operator Tree 分析可以看到如下信息，条件连接 Map 的输出以及通过预定义的输出格式生成符合 default.lpx 的存储格式的数据存储到 HDFS 中。在我们创建 lpx 表
的时候，没有指定该表的存储格式，默认会以 Text 为存储格式，输入输出会以 TextInputFormat 与 TextOutputFormat 进行读写：
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
                  name: default.lpx
input format 的值对应 org.apache.hadoop.mapred.TextInputFormat ，
这是因为在开始的 Map 阶段产生的临时输出文件是以 TextOutputFormat 格式保存的，自然 Reduce 的读取是由 TextInputFormat 格式处理读入数据。这些是由 Hadoop 的 MapReduce 处理细节来控制，而 Hive 只需要指定处理格式即可。
    Serde 值为 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 类，这时这个对象的保存的值为 _col0, _col1, _col2 ，也就是我们预期要查询的 t1.bar, t1.foo, t2.foo ，这个值具体的应该为 _col0+ 表 lpx 设置的列分割符 +_col1+ 表 lpx 设置的列分割符 +_col2 。 outputformat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat 可以知道 output 的处理是使用该类来处理的。
    Stage-0 对应上面提到的第二步操作。这时 stage-1 产生的临时处理文件举例如 tmp, 需要经过 stage-0 阶段操作处理到 lpx 表中。 Move Operator 代表了这并不是一个 MapReduce 任务，只需要调用 MoveTask 的处理就行，在处理之前会去检查输入文件是否符合 lpx 表的存储格式。 

select a.*, b.cust_uid
from ods_ad_bid_deliver_info b join mds_ad_algo_feed_monitor_data_table a
where a.dt<=20140101 and a.dt<=20140108 and key='deliver_id_bucket_id' and a.dt=b.dt and a.key_slice=b.deliver_id
执行计划：
抽象语法树：
ABSTRACT SYNTAX TREE:
  (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME ods_ad_bid_deliver_info) b) (TOK_TABREF (TOK_TABNAME mds_ad_algo_feed_monitor_data_table) a))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_ALLCOLREF (TOK_TABNAME a))) (TOK_SELEXPR (. (TOK_TABLE_OR_COL b) cust_uid))) (TOK_WHERE (and (and (and (and (<= (. (TOK_TABLE_OR_COL a) dt) 20140101) (<= (. (TOK_TABLE_OR_COL a) dt) 20140108)) (= (TOK_TABLE_OR_COL key) 'deliver_id_bucket_id')) (= (. (TOK_TABLE_OR_COL a) dt) (. (TOK_TABLE_OR_COL b) dt))) (= (. (TOK_TABLE_OR_COL a) key_slice) (. (TOK_TABLE_OR_COL b) deliver_id))))))
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 is a root stage
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        a
          TableScan
            alias: a
            Filter Operator
              predicate:
                  expr: (key = 'deliver_id_bucket_id')  // 按 key 指定值在 map 阶段过滤
                  type: boolean
              Reduce Output Operator
                sort order:
                tag: 1
                value expressions:  //select * 导致输出到 reduce 的数据是全部的列信息
                      expr: key
                      type: string
                      expr: key_slice
                      type: string
                      expr: billing_mode_slice
                      type: string
                      expr: bucket_id
                      type: string
                      expr: ctr
                      type: string
                      expr: ecpm
                      type: string
                      expr: auc
                      type: string
                      expr: pctr
                      type: string
                      expr: pctr_ctr
                      type: string
                      expr: total_pv
                      type: string
                      expr: total_click
                      type: string
                      expr: dt
                      type: string
        b
          TableScan
            alias: b
            Reduce Output Operator
              sort order:
              tag: 0
              value expressions:
                    expr: deliver_id
                    type: string
                    expr: cust_uid
                    type: string
                    expr: dt
                    type: string
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col0} {VALUE._col6} {VALUE._col35}
            1 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col3} {VALUE._col4} {VALUE._col5} {VALUE._col6} {VALUE._col7} {VALUE._col8} {VALUE._col9} {VALUE._col10} {VALUE._col11}
          handleSkewJoin: false
          outputColumnNames: _col0, _col6, _col35, _col38, _col39, _col40, _col41, _col42, _col43, _col44, _col45, _col46, _col47, _col48, _col49
          Filter Operator
            predicate:
                expr: (((((_col49 <= 20140101) and (_col49 <= 20140108)) and (_col38 = 'deliver_id_bucket_id')) and (_col49 = _col35)) and (_col39 = _col0))
                type: boolean
            Select Operator
              expressions:
                    expr: _col38
                    type: string
                    expr: _col39
                    type: string
                    expr: _col40
                    type: string
                    expr: _col41
                    type: string
                    expr: _col42
                    type: string
                    expr: _col43
                    type: string
                    expr: _col44
                    type: string
                    expr: _col45
                    type: string
                    expr: _col46
                    type: string
                    expr: _col47
                    type: string
                    expr: _col48
                    type: string
                    expr: _col49
                    type: string
                    expr: _col6
                    type: string
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12
              File Output Operator
                compressed: false
                GlobalTableId: 0
                table:
                    input format: org.apache.hadoop.mapred.TextInputFormat
                    output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  Stage: Stage-0
    Fetch Operator
      limit: -1 

修改后
select a.*, b.cust_uid
from ods_ad_bid_deliver_info b
join mds_ad_algo_feed_monitor_data_table a
on(a.dt<=20140101 and a.dt<=20140108 and a.dt=b.dt and a.key_slice=b.deliver_id and a.key='deliver_id_bucket_id')
执行计划：
抽象语法树：
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 is a root stage
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        a
           TableScan
            alias: a
            Filter Operator
              predicate:
                  expr: (key = 'deliver_id_bucket_id')
                  type: boolean
              Filter Operator
                predicate:
                    expr: (dt <= 20140101)  // 分区过滤条件在 map 端生效
                    type: boolean
                Filter Operator
                  predicate:
                      expr: (dt <= 20140108)  // 分区过滤条件在 map 端生效
                      type: boolean
                  Filter Operator
                    predicate:
                        expr: (key = 'deliver_id_bucket_id')
                        type: boolean
                    Reduce Output Operator
                      key expressions:
                            expr: dt
                            type: string
                            expr: key_slice
                            type: string
                      sort order: ++
                      Map-reduce partition columns:
                            expr: dt
                            type: string
                            expr: key_slice
                            type: string
                      tag: 1
                      value expressions:
                            expr: key
                            type: string
                            expr: key_slice
                            type: string
                            expr: billing_mode_slice
                            type: string
                            expr: bucket_id
                            type: string
                            expr: ctr
                            type: string
                            expr: ecpm
                            type: string
                            expr: auc
                            type: string
                            expr: pctr
                            type: string
                            expr: pctr_ctr
                            type: string
                            expr: total_pv
                            type: string
                            expr: total_click
                            type: string
                            expr: dt
                            type: string
        b
          TableScan
            alias: b
            Reduce Output Operator
              key expressions:
                    expr: dt
                    type: string
                    expr: deliver_id
                    type: string
              sort order: ++
              Map-reduce partition columns:
                    expr: dt
                    type: string
                    expr: deliver_id
                    type: string
              tag: 0
              value expressions:
                    expr: cust_uid
                    type: string
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col6}
            1 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col3} {VALUE._col4} {VALUE._col5} {VALUE._col6} {VALUE._col7} {VALUE._col8} {VALUE._col9} {VALUE._col10} {VALUE._col11}
          handleSkewJoin: false
          outputColumnNames: _col6, _col38, _col39, _col40, _col41, _col42, _col43, _col44, _col45, _col46, _col47, _col48, _col49
          Select Operator
            expressions:
                  expr: _col38
                  type: string
                  expr: _col39
                  type: string
                  expr: _col40
                  type: string
                  expr: _col41
                  type: string
                  expr: _col42
                  type: string
                  expr: _col43
                 type: string
                  expr: _col44
                  type: string
                  expr: _col45
                  type: string
                  expr: _col46
                  type: string
                  expr: _col47
                  type: string
                  expr: _col48
                  type: string
                  expr: _col49
                  type: string
                  expr: _col6
                  type: string
            outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  Stage: Stage-0
    Fetch Operator
      limit: -1


栗子： 
select * from emp e
left join dept d on e.deptno=d.deptno
where d.dt='2018-06-04';

花费时间:Time taken: 44.401 seconds, Fetched: 17 row(s)

执行计划:
STAGE DEPENDENCIES:
  Stage-4 is a root stage
  Stage-3 depends on stages: Stage-4
  Stage-0 depends on stages: Stage-3
STAGE PLANS:
  Stage: Stage-4
//1、将启用本地MR读取小表

 Map Reduce Local Work  /本地执行

      Alias -> Map Local Tables:
        d
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        d
          TableScan
            alias: d
            Statistics: Num rows: 1 Data size: 168 Basic stats: PARTIAL Column stats: PARTIAL

//2、写入哈希表文件

HashTable Sink Operator 

              keys:

                0 deptno (type: string)
                1 deptno (type: string)
//3、上传至hdfs DC中 执行计划中没有 
2018-06-07 11:04:40	Uploaded 1 File to: file:/tmp/dw/fd4d06b7-523f-41a0-a8ff-ee4b13995b7e/hive_2018-06-07_11-04-35_149_2329359575876874876-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile01--.hashtable (583 bytes)

//4、执行一个map作业，读取大表，并与缓存中的小表连接操作

  Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: e
            Statistics: Num rows: 1 Data size: 757 Basic stats: PARTIAL Column stats: PARTIAL
            Map Join Operator
              condition map:
                   Left Outer Join0 to 1
              keys:
                0 deptno (type: string)
                1 deptno (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col12, _col13, _col14, _col15
              Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
              Filter Operator
                predicate: (_col15 = '2018-06-04') (type: boolean)
                Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
                Select Operator
                  expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col8 (type: str
ing), _col12 (type: string), _col13 (type: string), _col14 (type: string), '2018-06-04' (type: string)                  outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12
                  Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
                  File Output Operator
                    compressed: false
                    Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
                    table:
                        input format: org.apache.hadoop.mapred.TextInputFormat
                        output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                        serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink 

--修改后
select * from emp e
left join dept d on (e.deptno=d.deptno and  d.dt='2018-06-04');
花费时间:Time taken: 23.804 seconds, Fetched: 17 row(s)

STAGE DEPENDENCIES:
  Stage-4 is a root stage
  Stage-3 depends on stages: Stage-4
  Stage-0 depends on stages: Stage-3

STAGE PLANS:
  Stage: Stage-4
    Map Reduce Local Work
      Alias -> Map Local Tables:
        d
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        d
          TableScan
            alias: d
            filterExpr: (dt = '2018-06-04') (type: boolean)
            Statistics: Num rows: 1 Data size: 84 Basic stats: PARTIAL Column stats: PARTIAL
            HashTable Sink Operator
              keys:
                0 deptno (type: string)
                1 deptno (type: string)
  Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: e
            Statistics: Num rows: 1 Data size: 757 Basic stats: PARTIAL Column stats: PARTIAL
            Map Join Operator
              condition map:
                   Left Outer Join0 to 1
              keys:
                0 deptno (type: string)
                1 deptno (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col12, _col13, _col14, _col15
              Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col8 (type: strin
g), _col12 (type: string), _col13 (type: string), _col14 (type: string), _col15 (type: string)                outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12
                Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
                File Output Operator
                  compressed: false
                  Statistics: Num rows: 1 Data size: 832 Basic stats: COMPLETE Column stats: NONE
                  table:
                      input format: org.apache.hadoop.mapred.TextInputFormat
                      output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                      serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink


资料来源：

https://tech.meituan.com/hive-sql-to-mapreduce.html 美团技术博客

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain hive文档

秦老师


芭芭拉小魔仙
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HiveDriver源码执行流程分析
01-30
接着上一篇来说执行入口的分析，CliDriver最终将用户指令command提交给了Driver的run方法（针对常用查询语句而言），在这里用户的command将会被编译，优化并生成MapReduce任务进行执行。所以Driver也是Hive的核心，他扮演了一个将用户查询和MapReduce Task转换并执行的角色，下面我们就看看Hive是如何一步一步操作的。在说run方法之前，由于CliDriver需要得到一个Driver类的实例，所以首先看一下Driver的构造方法。Driver有三个构造函数，主要功能也就是设置类的实例变量Hive
hive执行计划可视化工具
05-31
hive执行计划可视化工具
hive执行文件.zip
04-07
将解压的bin覆盖目标bin文件夹即可
Hive SQL的编译过程
美团技术团队
02-12 2651
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduc...
hive笔记（十）：企业级调优-执行计划/本地模式/表的优化/合理的map、reduce数/并行执行/严格模式
qq_55906442的博客
09-13 332
（1）基本语法（2）案例1）查看下面这条语句的执行计划没有生成MR任务的有生成MR任务的2）查看详细执行计划没有生成MR任务的有生成MR任务的。 企业级调优 执行计划（explain） fetch抓取 本地模式 表的优化 小表大表join（mapjoin） 大表join大表 group by count（distinct）去重统计 笛卡尔积 行列过滤 合理设置map及reduce数 复杂文件增加map数 小文件进行合并 合理设置reduce数 并行执行 严格模式
hive--执行计划
qq_46893497的博客
02-27 2610
来聊一聊执行计划，如果掌握了MapReduce，且开发者有一定的经验积累可以反推Compiler将SQL转换的MapReduce执行算法，并借助explain来比对你构思的执行计划和实际生成的执行计划是否存在差异，并思考差异的原因是啥，慢慢就能够对生成的算法以及算法执行路径图是否合理给出一个自己的评判，同时也能提升自己对SQL的掌控
Hive执行计划之一文读懂Hive执行计划
鲁边的博客
06-06 1163
Hive的执行计划描述了一个hiveSQL语句的具体执行步骤，通过执行计划解读可以了解hiveSQL语句被解析器转换为相应程序语言的执行逻辑。通过执行逻辑可以知晓HiveSQL运行流程，进而对流程进行优化，实现更优的数据查询处理。同样，通过执行计划，还可以了解到哪些不一样的SQL逻辑其实是等价的，哪些看似一样的逻辑其实是执行代价完全不一样。如果说Hive优化是一堵技术路上的高墙，那么关于Hive执行计划，就是爬上这堵高墙的一架梯子。不同版本的Hive会采用不同的方式生成的执行计划。
Hive SQL 执行计划
晓晓的天空
02-23 1125
Hive SQL 执行计划
hive explain执行计划详解
一定要努力努力再努力的博客
04-11 1332
1、Hive提供的执行计划目前可以查看的信息有以下几种： explain：查看执行计划的基本信息； explain dependency：dependency在explain语句中使用会产生有关计划中输入的额外信息。它显示了输入的各种属性； explain authorization：查看SQL操作相关权限的信息； explain vectorization：查看SQL的向量化描述信息，显示为什么未对Map和Reduce进行矢量化。从 Hive 2.3.0 开始支持； explain analyze
hive调优系列—hive执行计划
eli的博客
09-07 1889
执行结果如下，两个结果相同。笔者看到别的文章都表示上述两段sql结果不同，但是笔者实际执行的结果是相同的，基于hive2.1.1。准备好两张分区表以及测试数据后，sql案例如下，两段join的sql，关联条件加上了非等值判断。explain dependency主要用于分析sql的数据来源。
HiveSQL执行计划详解.pdf
04-10
HiveSQL执行计划详解.pdf
Hive优化以及执行原理
11-20
Hive优化以及执行原理，一位前辈总结的hive知识，个人觉得非常有用，资源难找，现在贡献给大家，独乐乐不如众乐乐。
hive on spark执行insert overwrite非常慢
qq_36864672的博客
12-03 5108
把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select * from test1; == Physical Plan == InsertIntoHiveTable M...
大数据基础学习-7.Hive-1.1.0
闲人勿
04-27 1556
一、引入Hive原因– 对存在HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码– 对于统计任务，只能由懂MapReduce的程序员才能搞定，耗时耗力FaceBook实现并开源Hive，解决海量结构化日志查询– Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后在Hadoop平台上运行，达到快速开发的目的。Hive一般不会直接接入到业务中使用，从某种意...
教你怎么查看 hive 的执行计划
香蕉牛奶棒棒槌的博客
03-06 7680
编译器中的实现细节 我们在总结Hive架构的时候，我们知道Hive中有一个Compiler组件，这个组件主要是解析字符串的SQL，然后生成执行计划，我们介绍文章主要是详细讲解Compiler中的细节以及生成的执行计划 我们从下面的HiveSQL语句开始： use douban; -- 创建一张临时表 CREATE TABLE `douban.movie_temp`( ...
详解HiveSQL执行计划
ytp552200ytp的博客
04-17 554
详解HiveSQL执行计划
长文详解HiveSQL执行计划
大数据星球-浪尖
08-31 3187
本文目录：一、前言二、SQL的执行计划2.1 explain 的用法2.2 explain 的使用场景 案例一：join 语句会过滤 null 的值吗？ 案例二：group by 分组语句会进行排序吗？ 案例三：哪条sql执行效率高呢？ 案例四：定位产生数据倾斜的代码段2.3 explain dependency的用法 案例一：识别看似等价的代码 案例二：识别SQL读取数据范围的差别2...
Hive执行计划之只有map阶段SQL性能分析和解读
鲁边的博客
06-13 383
这种只含map的操作，如果文件大小控制在合适的情况下，都将只有本地操作，其执行非常高效，运行效率完全不输于在计算引擎Tez和Spark上运行。
大数据第五天(操作hive的方式)
最新发布
weixin_51885039的博客
04-23 473
操作hive的方式
hive 执行计划 图形
07-31
Hive 执行计划图形是指将 Hive 查询语句转换为一个可视化的图形表示，用于展示查询执行的计划和流程。它以图形化的方式显示了查询的各个阶段、输入输出数据和执行顺序等信息。 Hive 执行计划图形是在查询优化阶段...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值