【20200320分享】-Hive源码之SQL编译执行流程

最新推荐文章于 2022-08-24 20:56:34 发布
最新推荐文章于 2022-08-24 20:56:34 发布
阅读量218 收藏 1
点赞数
分类专栏： Hive 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yazhengq/article/details/105035959
版权

Design

官网Hive设计图

Compiler

  • 解析器(Parser)–将查询字符串转换为解析树表示形式。
  • 语义分析器(Semantic Analyser)-将解析树转换为内部查询表示形式，该表示形式基于块。
  • 逻辑计划生成器(Logical Plan Generator)将内部查询表示形式转换为逻辑计划，该逻辑计划由运算符树组成。但是reduceSink等运算符是Hive专用的，将该计划转换为一系列map-reduce作业。
  • 查询计划生成器(Query Plan Generator)将逻辑计划转换为一系列的map-reduce任务。 查询计划计划被序列化并写入文件。

SQL转化为MapReduce的流程对应源码解读：

在这里插入图片描述

0001-1-HiveSql(解释,编译,优化,执行)源码
我的祖传代码
09-04 563
一 架构图 1.1 官网架构图 Driver组件：该组件包括Parser、Compiler、Optimizer和Executor，它的作用是将hivesql进行解析、编译、优化，生成执行计划，然后调用底层的mapreduce计算框架。 解释器（Parser）：将SQL转化为抽象语法树AST； 编译器（Compiler）：将AST编译成逻辑执行计划； 优化器（Optimizer）：对逻辑执行计划进行优化； 执行器（Executor）：将逻辑执行计划转成可执行的物理计划; 1.2..
Hive的SQL编译源码详解
好学若饥，谦卑若愚
07-06 2830
看图完事：
hiveql的执行过程
lance家园
10-17 3380
     周末花了点时间，结合以前看的，大体看了一下Hive源码，主要包括客户/服务器通信，语法解析器，语义分析器，逻辑计划生成器，计划优化器，物理计划生成器，物理计划执行器等部分。分别由包parse,plan, optimizer, Exec中的代码来实现的。       Hive是将SQL语句转换成hadoop的MapReduce程序，通常在客户端执行hive命令，然后输入SQL语句后，hive将SQL语句生成多个MR的job，然后将这些job提交给hadoop进行执行，完成后，再把结果放入到hdf
hive源码调试
Xlucas的博客
04-06 3318
之前一直是在hive源码，从今天开始要深入了解hive的整个执行过程，所以今天进行hive的源码debug调试跟踪工作， 现在开始我们今天环境的配置 1、默认大家的hive运行环境都已经安装好，如果不清楚怎么安装这个可以百度一下 2、搭建hive源码环境，这个之前文章里面已经写了怎么搭建，大家可以查看之前的文章 接下来重点讲一下 Hive Cli 调试 在运行环境开启Hive Cli命...
Hive SQL源码解析
mm_ren的博客
08-28 601
Hive执行SQL的主要流程流程词法、语法解析: Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree语义解析: 遍历AST Tree，抽象出...
apache-hive-3.1.2-bin.tar.gz
06-24
描述中提到的“为解决hive安全问题，重新编译hive源码升级jetty到9.4.24.v20191120”是一个重要的知识点。Jetty是一个开源的HTTP服务器和Servlet容器，Hive使用Jetty来提供Web界面和HTTP服务，例如HiveServer2。由于...
apache-hive-1.2.1源码包（已编译）（含Hive的使用全解）
01-18
通过深入学习和分析"apache-hive-1.2.1源码包"，开发者可以更好地理解Hive的工作流程，优化查询性能，甚至定制化开发满足特定业务场景的功能。对于大数据领域的工程师来说，这是一份宝贵的资源。
Hive命令及SQL源码编译流程
福贵儿的博客
06-29 1733
1. 命令 # 表 # 创建 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [ (col_name data_type [COMMENT col_comment], ...) ] [COMMENT table_comment] [PARTITIONED BY(col_name data_type [COMMENT col_comment],...) ] [CLUSTERED BY (col_name,col_name,...
大数据 - hive执行SQL语句基本流程- 源码01
weixin_45518155的博客
07-19 579
目录hive简介hive架构图hive cli架构图hive源码结构hive三大核心模块hive执行命令入口接收命令的入口函数调用`cli.CliDriver.run()`方法`executeDriver`调用 `cli.processLine()`或者`cli.processFile()`调用`CliDriver.processCmd()`方法调用processLocalCmd()方法调用Driver.run()方法 hive简介 什么是Hive？ 数据仓库：存储、查询、分析大规模数据 SQL语言：简单
hive底层原理 sql执行过程_hive工作原理之SQL源码解析
weixin_39947521的博客
12-30 365
hive自带的sql查询最终是转化成mapreduce任务进行。如何转换的呢？分为如下几步：1、antlr词法解析器解析SQL成Abstract Syntax Tree即AST树2、基于AST树解析成若干query block即QB，QB和QBParseInfo其实是hive源码里面的Bean，是SQL解析的关键类下边是QB的关键几个成员如下：public classQB {private sta...
HiveSQL源码之语法词法编译文件解析一文详解
master_hunter的博客
08-22 2621
工欲善其事必先利其器，首先要了解HiveSQL的编译语法的流程，还是需要懂得HiveSQL的执行流程以及编译规则。Hive详解以及CentOS下部署Hive和Mysql我们现在主要研究SQL Parser语法解析这块内容。语法解析可以说是研究一门编程语言的基础了，我们编程语言本身就是告诉计算机要帮助我们做什么事。antlr是编译原理领域比较著名的工具了,这次借助研究hivesql的机会，安装使用一下antlr。
数仓工具—Hive源码之SQL 解析(6)
08-24 4万+
从上述整个SQL编译的过程，可以看出编译过程的设计有几个优点值得学习和借鉴使用Antlr开源软件定义语法规则，大大简化了词法和语法的编译解析过程，仅仅需要维护一份语法文件即可。整体思路很清晰，分阶段的设计使整个编译过程代码容易维护，使得后续各种优化器方便的以可插拔的方式开关，譬如Hive 0.13最新的特性Vectorization和对Tez引擎的支持都是可插拔的。每个Operator只完成单一的功能，简化了整个MapReduce程序。
Hive SQL的编译过程（转载）
weixin_33980459的博客
01-25 66
转自：https://www.cnblogs.com/zhzhang/p/5691997.html
hive源码分析
05-25
hive 源码分析
大数据 - hive执行SQL语句基本流程- 源码02
weixin_45518155的博客
07-19 703
目录导航Driver类编译的过程代码入口以及过程利用antlr将HiveQL转换成抽象语法树（AST）。利用对应的SemanticAnalyzer类，将AST树转换成Map-reduce task。 Driver类 Driver类是hive最核心的类。Driver类是查询的起点，run()方法会先后调用compile()和execute()两个函数来完成查询，所以一个command的查询分为compile和execute两个阶段。 编译的过程 Compiler简介 解析器(Parser)–将查询字符串转
Hive SQL 编译过程详解
03-06
1、MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2.1 Phase1 SQL词法，语法解析 2.1.1 Antlr 2.1.2 抽象语法树AST Tree 2.1.3 样例SQL ........... 2.3 Phase3 逻辑操作符Operator ........... 2.4 Phase4 逻辑层优化器 ........... 2.5 Phase5 OperatorTree生成MapReduce Job的过程 2.5.1 对输出表生成MoveTask .......... 2.5.9 OperatorTree生成MapReduceTask全貌
Hive一条SQL的旅行(一)
Xlucas的博客
01-18 799
从今天开始我们从hive源码跟踪一下一条sql语句在hive执行引擎到底做了哪些事情。 整个hive程序的入口是在包org.apache.hadoop.hive.cli下面的 CliDriver 类 下面这个就是main 方法public static void main(String[] args) throws Exception { int ret = new CliDriver()
Hive Server对SQL语句的编译过程 : 前奏
weixin_34025051的博客
03-17 96
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值