hive 启动方式及执行流程

23 篇文章 2 订阅
3 篇文章 0 订阅

启动方式

cli                                    

  • bin/hive或者bin/hive --service cli     
  • 命令行方式默认,使用最简单,也最麻烦,功能最强大。   
  • org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.cli.CliDriver
hive-server(Deprecated)
  • bin/hive --service hive server          
  • 通过jdbc/odbc和thrift访问,并发、服务假死      
  • RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.service.HiveServer
hive-server2(代替hive-server)        
  • bin/hive --service hiveserver2   
  • 通过jdbc/odbc和thrift访问,并发有较大提高,支持session   
  • RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hive.service.server.HiveServer2
hwi                                   
  • bin/hive --service hwi                      
  • 通过浏览器访问,使用门栏低,适合产品、运维、技术等非专业数据开发人员。                    
  • org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-hwi-0.11.0.jar org.apache.hadoop.hive.hwi.HWIServer 

hive cli启动过程详解

  • $HIVE_HOME/bin/hive-config.sh 初始化配置信息
  • $HIVE_HOME/conf/hive-env.sh 初始化一些环境变量,HADOOP_HOME。。。
  • 检查 hive-exec-.jar, hive-metastore-.jar, hive-cli-*.jar几个主要jar包是否存在,同时把$HIVE_HOME/lib下所有jar包加入classpath
  • 如果配置 HIVE_AUX_JARS_PATH,hive启动的时候会把这些jar包加入class path
  • 添加hadoop相关classpath
  • 执行$HIVE_HOME/ext/cli.sh
  • hadoop org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.cli.CliDriver

hive执行计划

Parse(HQL->AST) 
把sql转换为抽象语法树
Semantic Analyzer ( AST -> QB ) 
把抽象语法树转换成查询快
Logic Plan QB ( QB -> OP TREE ) 
把QB转换为逻辑执行计划
Logic Optimizer ( Rewrite OP TREE ) 
重写执行计划(优化)
Physical Plan Gen ( OP Tree -> Task Tree ) 
把逻辑执行计划转换为物理执行计划
Physical Optimizer ( Optimizer Task Tree )  
物理执行计划优化


  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive SQL 的执行流程可以分为三个主要步骤。首先,Hive 会将用户编写的 SQL 语句进行词法分析和语法分析,生成一个抽象语法树(AST)表示用户查询的结构。这个过程叫做查询解析。在这个过程中,Hive 将 SQL 语句转化为一个 QueryBlock 对象,用来表示查询的结构和语义。 接下来,Hive 会对 QueryBlock 进行语义分析,检查查询中的表、列、函数等是否存在以及其它语义上的错误。在这个步骤中,Hive 还会进行表的访问控制和权限检查。一旦通过了语义分析,Hive 就会生成一个逻辑查询计划(Logical Plan)。逻辑查询计划描述了查询的逻辑操作,例如选择、投影和连接等。 最后,Hive 会将逻辑查询计划转化为物理查询计划(Physical Plan),并生成对应的 MapReduce 程序。这个过程叫做查询优化和执行计划生成。在这个步骤中,Hive 会进行各种优化,例如谓词下推、列裁剪和任务并行化等,以提高查询的性能。最终,Hive 会将生成的 MapReduce 程序提交给底层的计算引擎进行执行,计算结果将返回给用户。 综上所述,Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序,并实现查询的执行。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hive SQL的底层编译过程详解](https://blog.csdn.net/helloHbulie/article/details/117283369)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值