Hive解析HiveQL语句生成抽象语法树和逻辑计划

最新推荐文章于 2024-03-21 18:46:32 发布
最新推荐文章于 2024-03-21 18:46:32 发布
阅读量4k 收藏
点赞数
分类专栏： hive 文章标签： hive SQL 抽象语法树 查询计划
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xie_heng/article/details/15029709
版权

试了下解析TPCH里面的Q9，解释如下：


hive> explain insert overwrite table q9_product_type_profit

    > select 
    >   nation, o_year, sum(amount) as sum_profit
    > from 
    >   (
    > select 
    >   n_name as nation, year(o_orderdate) as o_year, 
    >   l_extendedprice * (1 - l_discount) -  ps_supplycost * l_quantity as amount
    >     from
    >       orders o join
    >       (select l_extendedprice, l_discount, l_quantity, l_orderkey, n_name, ps_supplycost 
    >        from part p join
    >          (select l_extendedprice, l_discount, l_quantity, l_partkey, l_orderkey, 
    >                  n_name, ps_supplycost 
    >           from partsupp ps join
    >             (select l_suppkey, l_extendedprice, l_discount, l_quantity, l_partkey, 
    >                     l_orderkey, n_name 
    >              from
    >                (select s_suppkey, n_name 
    >                 from nation n join supplier s on n.n_nationkey = s.s_nationkey
    >                ) s1 join lineitem l on s1.s_suppkey = l.l_suppkey
    >             ) l1 on ps.ps_suppkey = l1.l_suppkey and ps.ps_partkey = l1.l_partkey
    >          ) l2 on p.p_name like '%green%' and p.p_partkey = l2.l_partkey
    >      ) l3 on o.o_orderkey = l3.l_orderkey
    >   )profit
    > group by nation, o_year

    > order by nation, o_year desc;

OK
ABSTRACT SYNTAX TREE:
  (TOK_QUERY (TOK_FROM (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME orders) o) (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME part) p) (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME partsupp) ps) (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME nation) n) (TOK_TABREF (TOK_TABNAME supplier) s) (= (. (TOK_TABLE_OR_COL n) n_nationkey) (. (TOK_TABLE_OR_COL s) s_nationkey)))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL s_suppkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL n_name))))) s1) (TOK_TABREF (TOK_TABNAME lineitem) l) (= (. (TOK_TABLE_OR_COL s1) s_suppkey) (. (TOK_TABLE_OR_COL l) l_suppkey)))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL l_suppkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_extendedprice)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_discount)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_quantity)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_partkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_orderkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL n_name))))) l1) (and (= (. (TOK_TABLE_OR_COL ps) ps_suppkey) (. (TOK_TABLE_OR_COL l1) l_suppkey)) (= (. (TOK_TABLE_OR_COL ps) ps_partkey) (. (TOK_TABLE_OR_COL l1) l_partkey))))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL l_extendedprice)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_discount)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_quantity)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_partkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_orderkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL n_name)) (TOK_SELEXPR (TOK_TABLE_OR_COL ps_supplycost))))) l2) (and (like (. (TOK_TABLE_OR_COL p) p_name) '%green%') (= (. (TOK_TABLE_OR_COL p) p_partkey) (. (TOK_TABLE_OR_COL l2) l_partkey))))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL l_extendedprice)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_discount)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_quantity)) (TOK_SELEXPR (TOK_TABLE_OR_COL l_orderkey)) (TOK_SELEXPR (TOK_TABLE_OR_COL n_name)) (TOK_SELEXPR (TOK_TABLE_OR_COL ps_supplycost))))) l3) (= (. (TOK_TABLE_OR_COL o) o_orderkey) (. (TOK_TABLE_OR_COL l3) l_orderkey)))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL n_name) nation) (TOK_SELEXPR (TOK_FUNCTION year (TOK_TABLE_OR_COL o_orderdate)) o_year) (TOK_SELEXPR (- (* (TOK_TABLE_OR_COL l_extendedprice) (- 1 (TOK_TABLE_OR_COL l_discount))) (* (TOK_TABLE_OR_COL ps_supplycost) (TOK_TABLE_OR_COL l_quantity))) amount)))) profit)) (TOK_INSERT (TOK_DESTINATION (TOK_TAB (TOK_TABNAME q9_product_type_profit))) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL nation)) (TOK_SELEXPR (TOK_TABLE_OR_COL o_year)) (TOK_SELEXPR (TOK_FUNCTION sum (TOK_TABLE_OR_COL amount)) sum_profit)) (TOK_GROUPBY (TOK_TABLE_OR_COL nation) (TOK_TABLE_OR_COL o_year)) (TOK_ORDERBY (TOK_TABSORTCOLNAMEASC (TOK_TABLE_OR_COL nation)) (TOK_TABSORTCOLNAMEDESC (TOK_TABLE_OR_COL o_year)))))


STAGE DEPENDENCIES:
  Stage-7 is a root stage
  Stage-8 depends on stages: Stage-7
  Stage-1 depends on stages: Stage-8
  Stage-2 depends on stages: Stage-1
  Stage-3 depends on stages: Stage-2
  Stage-4 depends on stages: Stage-3
  Stage-5 depends on stages: Stage-4
  Stage-0 depends on stages: Stage-5
  Stage-6 depends on stages: Stage-0


STAGE PLANS:
  Stage: Stage-7
    Map Reduce
      Alias -> Map Operator Tree:
        profit:l3:l2:l1:s1:n 
          TableScan
            alias: n
            Reduce Output Operator
              key expressions:
                    expr: n_nationkey
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: n_nationkey
                    type: int
              tag: 0
              value expressions:
                    expr: n_name
                    type: string
        profit:l3:l2:l1:s1:s 
          TableScan
            alias: s
            Reduce Output Operator
              key expressions:
                    expr: s_nationkey
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: s_nationkey
                    type: int
              tag: 1
              value expressions:
                    expr: s_suppkey
                    type: int
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col1}
            1 {VALUE._col0}
          handleSkewJoin: false
          outputColumnNames: _col1, _col6
          Select Operator
            expressions:
                  expr: _col6
                  type: int
                  expr: _col1
                  type: string
            outputColumnNames: _col0, _col1
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-8
    Map Reduce
      Alias -> Map Operator Tree:
        $INTNAME 
            Reduce Output Operator
              key expressions:
                    expr: _col0
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: _col0
                    type: int
              tag: 0
              value expressions:
                    expr: _col1
                    type: string
        profit:l3:l2:l1:l 
          TableScan
            alias: l
            Reduce Output Operator
              key expressions:
                    expr: l_suppkey
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: l_suppkey
                    type: int
              tag: 1
              value expressions:
                    expr: l_orderkey
                    type: int
                    expr: l_partkey
                    type: int
                    expr: l_suppkey
                    type: int
                    expr: l_quantity
                    type: double
                    expr: l_extendedprice
                    type: double
                    expr: l_discount
                    type: double
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col1}
            1 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col4} {VALUE._col5} {VALUE._col6}
          handleSkewJoin: false
          outputColumnNames: _col1, _col2, _col3, _col4, _col6, _col7, _col8
          Select Operator
            expressions:
                  expr: _col4
                  type: int
                  expr: _col7
                  type: double
                  expr: _col8
                  type: double
                  expr: _col6
                  type: double
                  expr: _col3
                  type: int
                  expr: _col2
                  type: int
                  expr: _col1
                  type: string
            outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        $INTNAME 
            Reduce Output Operator
              key expressions:
                    expr: _col0
                    type: int
                    expr: _col4
                    type: int
              sort order: ++
              Map-reduce partition columns:
                    expr: _col0
                    type: int
                    expr: _col4
                    type: int
              tag: 1
              value expressions:
                    expr: _col1
                    type: double
                    expr: _col2
                    type: double
                    expr: _col3
                    type: double
                    expr: _col4
                    type: int
                    expr: _col5
                    type: int
                    expr: _col6
                    type: string
        profit:l3:l2:ps 
          TableScan
            alias: ps
            Reduce Output Operator
              key expressions:
                    expr: ps_suppkey
                    type: int
                    expr: ps_partkey
                    type: int
              sort order: ++
              Map-reduce partition columns:
                    expr: ps_suppkey
                    type: int
                    expr: ps_partkey
                    type: int
              tag: 0
              value expressions:
                    expr: ps_supplycost
                    type: double
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col3}
            1 {VALUE._col1} {VALUE._col2} {VALUE._col3} {VALUE._col4} {VALUE._col5} {VALUE._col6}
          handleSkewJoin: false
          outputColumnNames: _col3, _col8, _col9, _col10, _col11, _col12, _col13
          Select Operator
            expressions:
                  expr: _col8
                  type: double
                  expr: _col9
                  type: double
                  expr: _col10
                  type: double
                  expr: _col11
                  type: int
                  expr: _col12
                  type: int
                  expr: _col13
                  type: string
                  expr: _col3
                  type: double
            outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-2
    Map Reduce
      Alias -> Map Operator Tree:
        $INTNAME 
            Reduce Output Operator
              key expressions:
                    expr: _col3
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: _col3
                    type: int
              tag: 1
              value expressions:
                    expr: _col0
                    type: double
                    expr: _col1
                    type: double
                    expr: _col2
                    type: double
                    expr: _col4
                    type: int
                    expr: _col5
                    type: string
                    expr: _col6
                    type: double
        profit:l3:p 
          TableScan
            alias: p
            Filter Operator
              predicate:
                  expr: (p_name like '%green%')
                  type: boolean
              Reduce Output Operator
                key expressions:
                      expr: p_partkey
                      type: int
                sort order: +
                Map-reduce partition columns:
                      expr: p_partkey
                      type: int
                tag: 0
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 
            1 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col4} {VALUE._col5} {VALUE._col6}
          handleSkewJoin: false
          outputColumnNames: _col11, _col12, _col13, _col15, _col16, _col17
          Select Operator
            expressions:
                  expr: _col11
                  type: double
                  expr: _col12
                  type: double
                  expr: _col13
                  type: double
                  expr: _col15
                  type: int
                  expr: _col16
                  type: string
                  expr: _col17
                  type: double
            outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-3
    Map Reduce
      Alias -> Map Operator Tree:
        $INTNAME 
            Reduce Output Operator
              key expressions:
                    expr: _col3
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: _col3
                    type: int
              tag: 1
              value expressions:
                    expr: _col0
                    type: double
                    expr: _col1
                    type: double
                    expr: _col2
                    type: double
                    expr: _col4
                    type: string
                    expr: _col5
                    type: double
        profit:o 
          TableScan
            alias: o
            Reduce Output Operator
              key expressions:
                    expr: o_orderkey
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: o_orderkey
                    type: int
              tag: 0
              value expressions:
                    expr: o_orderdate
                    type: string
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 {VALUE._col4}
            1 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col4} {VALUE._col5}
          handleSkewJoin: false
          outputColumnNames: _col4, _col11, _col12, _col13, _col15, _col16
          Select Operator
            expressions:
                  expr: _col15
                  type: string
                  expr: year(_col4)
                  type: int
                  expr: ((_col11 * (1 - _col12)) - (_col16 * _col13))
                  type: double
            outputColumnNames: _col0, _col1, _col2
            Select Operator
              expressions:
                    expr: _col0
                    type: string
                    expr: _col1
                    type: int
                    expr: _col2
                    type: double
              outputColumnNames: _col0, _col1, _col2
              Group By Operator
                aggregations:
                      expr: sum(_col2)
                bucketGroup: false
                keys:
                      expr: _col0
                      type: string
                      expr: _col1
                      type: int
                mode: hash
                outputColumnNames: _col0, _col1, _col2
                File Output Operator
                  compressed: false
                  GlobalTableId: 0
                  table:
                      input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                      output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-4
    Map Reduce
      Alias -> Map Operator Tree:
        hdfs://master:9000/tmp/hive-hadoop/hive_2013-11-10_17-59-57_971_4458270102831923970/-mr-10004 
            Reduce Output Operator
              key expressions:
                    expr: _col0
                    type: string
                    expr: _col1
                    type: int
              sort order: ++
              Map-reduce partition columns:
                    expr: _col0
                    type: string
                    expr: _col1
                    type: int
              tag: -1
              value expressions:
                    expr: _col2
                    type: double
      Reduce Operator Tree:
        Group By Operator
          aggregations:
                expr: sum(VALUE._col0)
          bucketGroup: false
          keys:
                expr: KEY._col0
                type: string
                expr: KEY._col1
                type: int
          mode: mergepartial
          outputColumnNames: _col0, _col1, _col2
          Select Operator
            expressions:
                  expr: _col0
                  type: string
                  expr: _col1
                  type: int
                  expr: _col2
                  type: double
            outputColumnNames: _col0, _col1, _col2
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-5
    Map Reduce
      Alias -> Map Operator Tree:
        hdfs://master:9000/tmp/hive-hadoop/hive_2013-11-10_17-59-57_971_4458270102831923970/-mr-10005 
            Reduce Output Operator
              key expressions:
                    expr: _col0
                    type: string
                    expr: _col1
                    type: int
              sort order: +-
              tag: -1
              value expressions:
                    expr: _col0
                    type: string
                    expr: _col1
                    type: int
                    expr: _col2
                    type: double
      Reduce Operator Tree:
        Extract
          File Output Operator
            compressed: false
            GlobalTableId: 1
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
                name: default.q9_product_type_profit


  Stage: Stage-0
    Move Operator
      tables:
          replace: true
          table:
              input format: org.apache.hadoop.mapred.TextInputFormat
              output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
              serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
              name: default.q9_product_type_profit


  Stage: Stage-6
    Stats-Aggr Operator




Time taken: 0.444 seconds


XH1216
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自动生成hive建表语句查询语句程序及源码.rar
12-27
在excel模板中填写自己表的字段英文名、字段类型、字段中文名、分区英文名、分区数据类型、分区中文名、表英文名、表中文名，自动生成建表语句和查询语句，提高日常数据效率。 前提：本机安装java1.7，并且配置了...
hive3.0 学习笔记~ 知识点（一）
weixin_46355817的博客
05-19 1427
hivesql DDL hive完整语法树 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [DB_NAME].table_name [(col_name datetype [COMMENT col_comment],…] [COMMENT table_comment] [PARTITIONED BY (col_name datetype [COMMENT col_comment],…)] [CLUSTERD BY (col_name,col_name
Hive SQL编译过程之语法树的生成
数仓老六
12-15 1479
HiveQL是一个非标准的sql语言，实现了sql的大部分规范，同时添加了一些hive独有的特性。Hive使用antlr3定义HiveQL语言。 1.1 antlr3简介 ANTLR(ANother Tool for Language Recognition)是一款功能强大的语言构建工具，提供了词法分析、语法分析等功能。用户编写语言的词法规则和语法规则，然后通过antlr提供的运行时库将语言转换成抽象语法树。antlr支持java、c、c++、Python等多种语言。Antlr3是antlr的第..
hive语法树分析，判断 sql语句中有没有select *
最新发布
小哇
03-21 468
【代码】hive语法树分析，判断 sql语句中有没有select *
Hive SQL DQL SELECT语法树 ALL、DISTINCT、WHERE、GROUP BY、HAVING、LIMIT、执行顺序、JOINORDER BY、CLUSTER BY
pljnb的博客
02-09 1007
Hive SQL DQL SELECT语法树 ALL、DISTINCT、WHERE、GROUP BY、HAVING、LIMIT、执行顺序、JOINORDER BY、CLUSTER BY
hive_介绍
zhangsq1319
05-17 254
hive_介绍 hive是基于Hadoop的一个数据仓库工具。它可以将一个结构化数据文件映射成为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为Mapreduce任务进行运行。 hive与关系型数据库的区别： 存储文件的系统不同，hive使用HDFS，关系型数据库使用服务器本地的文件系统； hive使的计算模型是Mapreduce，而关系型数据库使用的是自己设计的计算模型； 关系型数据库为实时查询业务设计的，而hive则是为了海量数据挖掘设计的，实时性很差； hi...
Hive从概念到原理
qq_38048590的博客
09-03 2088
Hive是一个数据仓库基础工具，它是建立在Hadoop之上的数据仓库，在某种程度上可以把它看做用户编程接口（API），本身也并不存储和处理数据，依赖于HDFS存储数据，依赖MR处理数据。它提供了一系列对数据进行提取、转换、加载的工具。依赖于HDFS存储数据，依赖MR处理数据。在Hadoop中用来处理结构化数据。Hive查询语言采用Hive为MapReduce处理结构化数据。Hive不是实时查询语言...
Hive SQL转化为MapReduce执行计划深度解析
i000zheng的博客
07-18 8010
目录 1. MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2. SQL转化为MapReduce的过程 2.1 Phase1 SQL词法，语法解析 2.2 Phase2 SQL基本组成单元QueryBlock  2.3 Phase3 逻辑操作符Operator和逻辑操作树Operator...
SQL 语句解析：Hive 通过 ANTLR 生成语法树，解析 SQL 语句。
禅与计算机程序设计艺术
09-10 1622
作者：禅与计算机程序设计艺术 1.简介 Hive 是基于 Hadoop 的一个开源数据仓库系统，其存储数据采取了 HDFS (Hadoop 文件系统)作为底层文件存储。由于 Hive ql 中定义的查询语言 SQL 在运行时需要将 SQL 转换为 MapReduce 操作并执行，因此性能上存在一些限制，
hive根据excel批量生成建表语句
02-22
根据excel中表的字段清单，批量生成建表语句； 打开工具，按格式填入表名、字段、类型等内容，点击“视图”-->“宏”-->“查看宏”-->“执行”
flora-sql-parser：将SQL（选择）语句解析为抽象语法树（AST），并将AST转换回SQL
02-06
Flora SQL解析器 将简单SQL语句解析为抽象语法树（AST），然后将其转换回SQL。 用法 为SQL语句创建AST const { Parser } = require ( 'flora-sql-parser' ) ; const parser = new Parser ( ) ; const ast = parser . parse ( 'SELECT * FROM t' ) ; console . log ( ast ) ; 将AST转换回SQL const { Parser } = require ( 'flora-sql-parser' ) ; const ast = (
mysql数据抽取，自动生成hive建表语句
03-11
mysql数据抽取，自动生成hive建表语句，只需要输入表名即可
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
生成hive建表语句
08-24
生成hive建表语句
自己实现一个SQL解析引擎
热门推荐
人既无名的专栏
06-26 3万+
SQL的解析引擎包括查询编译与查询优化和查询的运行，主要包括3个步骤： 查询分析： 制定逻辑查询计划（优化相关） 制定物理查询计划（优化相关） 查询分析： 将SQL语句表示成某种有用的语法树. 制定逻辑查询计划： 把语法树转换成一个关系代数表达式或者类似的结构，这个结构通常称作逻辑计划。 制定物理查询计划：把逻辑计划转换成物理查询计划，要求指定操作执行的顺序，每一步使用的算法，操作之间的传递方式等。
Hive 源码解析二：AST
小王是个弟弟
03-17 3631
解析 hive 如何将 sql 转换为抽象语法树
HiveSQL原理和优化详解
ytp552200ytp的博客
04-13 2529
HiveSQL原理和优化详解
hive explain详解
雾岛与鲸的博客
08-19 1108
HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转换为MapReduce Job。大多数情况下，用户不需要了解Hive 内部是如何工作的，不过，当用户对于hive具有越来越多的经验后，学习下Hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive。 要了解HIVE是如何工作的，第一个步骤就是了解EXPLAIN的功能，它能帮助我们学习hive如何将查询转化成MapReduce任务的。 第一步，解读抽象语法树 hive >explain extended sele
hive对sql的解析中，逻辑计划的生成和什么有关
06-01
在Hive对SQL语句进行解析时，生成逻辑执行计划的过程与查询语句的语法结构、查询方式、表结构以及查询优化等因素有关。 具体来说，生成逻辑执行计划的过程中，Hive会考虑以下因素： 1. 查询方式：查询方式包括...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值