Hive SQL执行流程分析

最新推荐文章于 2021-09-09 18:04:19 发布
最新推荐文章于 2021-09-09 18:04:19 发布
阅读量167 收藏
点赞数
文章标签： 大数据 java shell
原文链接：http://www.cnblogs.com/cxzdy/p/4936909.html
版权

转自 http://www.tuicool.com/articles/qyUzQj 

最近在研究Impala，还是先回顾下Hive的SQL执行流程吧。

Hive有三种用户接口：

cli (Command line interface)bin/hive或bin/hive –service cli命令行方式（默认）
hive-server/hive-server2bin/hive –service hiveserver 或bin/hive –service hiveserver2通过JDBC/ODBC和Thrift访问（Impala通过这种方式借用hive-metastore）
hwi (Hive web interface)bin/hive –service hwi通过浏览器访问

在hive shell中输入“show tables;”实际执行的是：

bin/hadoop jar hive/lib/hive-cli-0.9.0.jar org.apache.hadoop.hive.cli.CliDriver -e 'SHOW TABLES;'

CLI入口函数：cli.CliDriver.main()

读入参数->建立SessionState并导入配置->处理输入文件中指令CliDriver.processFile()；或交互型指令CliDriver.processLine()->解析输入CliDriver.processCmd()

(1)    如果是quit或者exit，退出

(2)    以source开头的，读取外部文件并执行文件中的HiveQL

(3)    ！开头的命令，执行操作系统命令（如!ls，列出当前目录的文件信息）

(4)    list，列出jar/file/archive

(5)    其他命令，则生成调用相应的CommandProcessor处理，进入CliDriver.processLocalCmd()

CliDriver.processLocalCmd()

set/dfs/add/delete指令交给指定的CommandProcessor处理，其余的交给org.apache.hadoop.hive.ql.Driver.run()

org.apache.hadoop.hive.ql.Driver类是查询的起点，run()方法会先后调用compile()和execute()两个函数来完成查询，所以一个command的查询分为compile和execute两个阶段。

Compile

(1)利用antlr生成的HiveLexer.java和HiveParser.java类，将HiveQL转换成抽象语法树（AST）。

首先使用antlr工具将srcqlsrcjavaorgapachehadoophiveqlparsehive.g编译成以下几个文件：HiveParser.java, Hive.tokens, Hive__.g, HiveLexer.java

HiveLexer.java和HiveParser.java分别是词法和语法分析类文件，Hive__.g是HiveLexer.java对应的词法分析规范，Hive.tokens定义了词法分析后所有的token。

然后沿着“Driver.compile()->ParseDriver.parse(command, ctx)->HiveParserX.statement()->antlr中的API”这个调用关系把输入的HiveQL转化成ASTNode类型的语法树。HiveParserX是由antlr生成的HiveParser类的子类。

(2)利用对应的SemanticAnalyzer类，将AST树转换成Map-reduce task

a)         AST -> Operator DAG

b)        优化Operator DAG

c)         Oprator DAG -> Map-reduce task

首先接着上一步生成的语法树ASTNode， SemanticAnalyzerFactory会根据ASTNode的token类型生成不同的SemanticAnalyzer (所有这些SemanticAnalyzer都继承自BaseSemanticAnalyzer)

1)      ExplainSemanticAnalyzer

2)      LoadSemanticAnalyzer

3)      ExportSemanticAnalyzer

4)      DDLSemanticAnalyzer

5)      FunctionSemanticAnalyzer

6)      SemanticAnalyzer

然后调用BaseSemanticAnalyzer.analyze()->BaseSemanticAnalyzer. analyzeInternal()。

下面以最常见的select * from table类型的查询为例，进入的子类是SemanticAnalyzer. analyzeInternal()，这个函数的逻辑如下：

1)      doPhase1()：将sql语句中涉及到的各种信息存储起来，存到QB中去，留着后面用。

2)      getMetaData()：获取元数据信息，主要是sql中涉及到的 表 和 元数据 的关联

3)      genPlan()：生成operator tree/DAG

4)      optimize：优化，对operator tree/DAG 进行一些优化操作，例如列剪枝等（目前只能做rule-based optimize，不能做cost-based optimize）

5)      genMapRedTasks()：将operator tree/DAG 通过一定的规则生成若干相互依赖的MR任务

Execute

将Compile阶段生成的task信息序列化到plan.xml，然后启动map-reduce，在configure时反序列化plan.xml

实例分析：

在hive中有这样一张表：

uid

fruit_name

count

a

apple

5

a

orange

3

a

apple

2

b

banana

1

执行如下的查询：

SELECT uid, SUM(count) FROM logs GROUP BY uid

通过explain命令可以查看执行计划：

EXPLAIN SELECT uid, SUM(count) FROM logs GROUP BY uid;

依照hive.g的语法规则，生成AST如下

ABSTRACT SYNTAX TREE:
(
  TOK_QUERY
  (TOK_FROM (TOK_TABREF (TOK_TABNAME logs)))
  (
    TOK_INSERT
    (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))
    (
      TOK_SELECT
      (TOK_SELEXPR (TOK_TABLE_OR_COL uid))
      (TOK_SELEXPR (TOK_FUNCTION sum (TOK_TABLE_OR_COL count)))
    )
    (TOK_GROUPBY (TOK_TABLE_OR_COL uid))
  )
)

生成的执行计划operator tree/DAG如下：

STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 is a root stage

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        logs
          TableScan // 扫描表
            alias: logs
            Select Operator //选择字段
              expressions:
                    expr: uid
                    type: string
                    expr: count
                    type: int
              outputColumnNames: uid, count Group By Operator //在map端先做一次聚合，减少shuffle数据量 aggregations: expr: sum(count) //聚集函数 bucketGroup: false keys: expr: uid type: string mode: hash outputColumnNames: _col0, _col1 Reduce Output Operator //输出key，value给reduce key expressions: expr: _col0 type: string sort order: + Map-reduce partition columns: expr: _col0 type: string tag: -1 value expressions: expr: _col1 type: bigint Reduce Operator Tree: Group By Operator aggregations: expr: sum(VALUE._col0) //聚合 bucketGroup: false keys: expr: KEY._col0 type: string mode: mergepartial outputColumnNames: _col0, _col1 Select Operator //选择字段 expressions: expr: _col0 type: string expr: _col1 type: bigint outputColumnNames: _col0, _col1 File Output Operator //输出到文件 compressed: false GlobalTableId: 0 table: input format: org.apache.hadoop.mapred.TextInputFormat output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat Stage: Stage-0 Fetch Operator limit: -1

Hive优化策略：

1. 去除查询中不需要的column

2. Where条件判断等在TableScan阶段就进行过滤

3. 利用Partition信息，只读取符合条件的Partition

4. Map端join，以大表作驱动，小表载入所有mapper内存中

5. 调整Join顺序，确保以大表作为驱动表

6. 对于数据分布不均衡的表Group by时，为避免数据集中到少数的reducer上，分成两个map-reduce阶段。第一个阶段先用Distinct列进行shuffle，然后在reduce端部分聚合，减小数据规模，第二个map-reduce阶段再按group-by列聚合。

7. 在map端用hash进行部分聚合，减小reduce端数据处理规模。

参考文献：

http://fatkun.com/2013/01/hive-group-by.html

转载于:https://www.cnblogs.com/cxzdy/p/4936909.html

dizaoxn729021
关注
Hive SQL底层执行过程详细剖析
m0_57468722的博客
10-31 276
Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 MapReduce、Spark 或 Tez 执行查询。 我们今天来聊的就是 Hive 底层是怎样将我们写的 SQL 转化为 MapReduce 等计算引擎可识别的程序。了解 Hive SQL 的底层编译过程有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力
【原创】大数据基础之Hive（1）Hive SQL执行过程之代码流程
weixin_30498807的博客
12-27 273
hive 2.1 hive执行sql有两种方式： 执行hive命令，又细分为hive -e，hive -f，hive交互式； 执行beeline命令，beeline会连接远程thrift server； 下面分别看这些场景下sql是怎样被执行的： 1 hive命令 启动命令 启动hive客户端命令 $HIVE_HOME/bin/hive 等价于 $HI...
hive运行sql时生成的mapreduce
09-09 224
hive的sql语句被解析成了mapreduce，最终生成了一个jar文件。然后通过hadoop jar命令来执行这个jar文件。在http://master:50060/tasklog?attemptid=。。。可以看成jar所在文件目录，不过这个jar文件在mapreduce结束时，就会自动删除。这个jar文件大概有3M多。   路径大概是在:   /setup/hadoop/tm...
Hive Group By的实现原理
Mr.pan felix的专栏
07-29 2399
group by多字段 select rank, isonline, count(*) from city group by rank, isonline; 将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程） group by单字段 group by 单字段和多字段时的不同在于key上，以如下例子为例（出处太多）：SELECT ui
Hive执行sql时的工作流程详解
wuyue的博客
08-17 4761
今天也要努力学习 简单的说下hive： hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为Mapreduce任务进行运行。 hive实现： hive是基于Hadoop的一个数据仓库工具， 由Driver组...
hive学习笔记
hyshucom
09-14 969
1.HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduc...
Hive SQL执行流程
最新发布
06-29
Hive SQL的执行流程通常包括以下几个步骤： 1. **解析（Parsing）**: 当用户提交Hive SQL语句时，Hive首先会通过词法分析器将其分解为可理解的语法结构。 2. **编译（Compiling）**: Hive将解析后的语法树转换为...
hive sql 执行流程
06-09
Hive SQL 执行流程如下： 1. 解析器（Parser）：将用户提交的 SQL 语句解析成抽象语法树（AST）。 2. 预处理器（Preprocessor）：对 AST 进行预处理，包括语法检查、表、列、分区等元数据检查、变量展开等。 3. ...
hivesql执行流程
09-03
综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。...
hive sql执行流程
10-08
Hive SQL 的执行流程主要包括三个步骤：元数据管理、SQL编译、MapReduce执行。 元数据管理是通过Metastore来管理的，Metastore可以使用Derby或者Mysql进行元数据存储和管理。 SQL编译是将Hive SQL语句转换为...
Hive SQL——技能 - 解析json列表，直至字段维度
qq_32439303的博客
02-26 2251
小白问题描述： 通过类似word2vec等方法，利用商品的历史订单，我们可以获取一些商品之间的关联关系。通常这些关联关系是以json串的形式存储在Hive表中，且一个关联关系下包含多个商品，通常的格式为： 商品 关联商品列表 1001 [{"product_id":"1002","confidence":0.86},{"product_id":"1003","confidenc...
hive之生产常用字段类型详解
君永夜
03-15 1万+
1.基本字段类型：primitive_data 数值类型： int、bigint、float、double、DECIMAL 字符串：string 布尔类型：true、false #生产用1/0代替 时间类型：date、TIMESTAMP 等 #生产用字符串代替，如：19010101010101 2.数组类型：arrary_data 存放相同类型的数据集合 #创建一张包含arr...
hive修改表和字段注释
热门推荐
大数据训练营
08-31 2万+
修改表: ALTER TABLE table_name SET TBLPROPERTIES('COMMENT' = '这是表注释!'); 修改字段: ALTER TABLE table_name CHANGE COLUMN muid muid_new STRING COMMENT '这里是列注释!';
Impala源代码分析(2)-SQL解析与执行计划生成
novelly的专栏
11-26 4654
7 Replies Impala的SQL解析与执行计划生成部分是由impala-frontend（Java）实现的，监听端口是21000。用户通过Beeswax接口BeeswaxService.query()提交一个请求，在impalad端的处理逻辑是由void ImpalaServer::query(QueryHandle& query_handle, const Query& que
大数据之Hive 查询之SQL的 完整使用（第六章）
小坏说后端
09-09 3260
大数据之Hive 查询之SQL的 完整使用一 在线文档1、地址连接2、查询语句语法：二 基本查询（Select…From）1、全表和特定列查询0）数据准备1）全表查询2）选择特定列查询三 列别名1）重命名一个列2）便于计算3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’ 4）案例实操四 算术运算符五 常用函数1）求总行数（count）2）求工资的最大值（max）3）求工资的最小值（min）4）求工资的总和（sum）5）求工资的平均值（avg）六 Limit 语句七 Where 语句1）使用 WHERE
hive元数据解析、并且提取表结构
weixin_34320159的博客
04-26 847
为什么80%的码农都做不了架构师？>>> ...
impala执行流程
BigData
08-09 888
Hive的元数据表结构详解（转自lxw1234）
wangshuxing的专栏
03-15 391
本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。 文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎么生成和存储的。 13.1 存储Hive版本的元数据表（VERSION） 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0...
hive 查看版本号
lixiaotaoplus的专栏
03-14 1万+
hive 查看版本号 hive> hive.hwi.war.file
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值