hive 启动方式及执行流程

原创 2013年12月04日 01:01:44

启动方式

cli                                    

  • bin/hive或者bin/hive --service cli     
  • 命令行方式默认,使用最简单,也最麻烦,功能最强大。   
  • org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.cli.CliDriver

hive-server(Deprecated)

  • bin/hive --service hive server          
  • 通过jdbc/odbc和thrift访问,并发、服务假死      
  • RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.service.HiveServer

hive-server2(代替hive-server)        

  • bin/hive --service hiveserver2   
  • 通过jdbc/odbc和thrift访问,并发有较大提高,支持session   
  • RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hive.service.server.HiveServer2

hwi                                   

  • bin/hive --service hwi                      
  • 通过浏览器访问,使用门栏低,适合产品、运维、技术等非专业数据开发人员。                    
  • org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-hwi-0.11.0.jar org.apache.hadoop.hive.hwi.HWIServer 

hive cli启动过程详解

  • $HIVE_HOME/bin/hive-config.sh 初始化配置信息
  • $HIVE_HOME/conf/hive-env.sh 初始化一些环境变量,HADOOP_HOME。。。
  • 检查 hive-exec-.jar, hive-metastore-.jar, hive-cli-*.jar几个主要jar包是否存在,同时把$HIVE_HOME/lib下所有jar包加入classpath
  • 如果配置 HIVE_AUX_JARS_PATH,hive启动的时候会把这些jar包加入class path
  • 添加hadoop相关classpath
  • 执行$HIVE_HOME/ext/cli.sh
  • hadoop org.apache.hadoop.util.RunJar $HIVE_HOME/lib/hive-service-0.11.0.jar org.apache.hadoop.hive.cli.CliDriver

hive执行计划

Parse(HQL->AST) 
把sql转换为抽象语法树
Semantic Analyzer ( AST -> QB ) 
把抽象语法树转换成查询快
Logic Plan QB ( QB -> OP TREE ) 
把QB转换为逻辑执行计划
Logic Optimizer ( Rewrite OP TREE ) 
重写执行计划(优化)
Physical Plan Gen ( OP Tree -> Task Tree ) 
把逻辑执行计划转换为物理执行计划
Physical Optimizer ( Optimizer Task Tree )  
物理执行计划优化


hive 三种启动方式及用途

1, hive  命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive –service cli        用于linux平台命令行查询,查询语句基本跟mysql查...
  • adermxl
  • adermxl
  • 2014年06月26日 15:45
  • 5541

已搭建好HADOOP,HIVE,怎么进入并操作数据

[hadoop@master ~]$ cd $HIVE_HOME                    --进入hive目录 [hadoop@master hive]$ bin/hive      ...
  • springqingchun
  • springqingchun
  • 2012年02月29日 10:07
  • 2664

Hive笔记四:Hive的组件和工作流程

1、组件: 元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。 驱动(Driver )- 控制 HiveQL 生命周期的组件,当 HiveQL 查询...
  • oMandrake
  • oMandrake
  • 2015年10月03日 22:34
  • 298

Hive-1-Hive介绍和工作原理

1、 什么是Hive   hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优...
  • f369504543
  • f369504543
  • 2015年01月24日 15:08
  • 1389

Hive架构以及应用介绍

Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位,在实际的业务当中用的也非常多,可以说Hadoop之所以这么流行在很大程度上是因为Hive的存在。那么Hive究竟是什么,为什么在Had...
  • a2011480169
  • a2011480169
  • 2016年05月23日 16:39
  • 12351

Hive执行流程分析

先看0.7.1的执行过程: hive> select * from table02 where id=500000;对于这样的一个查询,Hive从CliDriver这个类的main函数开始: ...
  • liwei_1988
  • liwei_1988
  • 2012年03月08日 15:49
  • 2000

hive开启本地模式执行

先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说,hive中没有dual啊,想验证一些函数的执行结果很是麻烦。 比如我们在oracle数据库里面可以写select (1+2)...
  • xiao_jun_0820
  • xiao_jun_0820
  • 2015年01月06日 17:32
  • 4922

Hive总结(三)hive组件和执行过程

对Hive的基本组成进行了总结: 1、组件: 元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。 驱动(Driver )- 控制 HiveQL 生命周期的...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年10月19日 13:29
  • 4817

hive执行流程------CommandProcessor

CliDriver 类中介绍了CliDriver 类会引用到CommandProcessor相关类,主要是根据命令来判断具体实现类,比如通过本地的hive cli启动时,运行hive的命令(非list...
  • gotta521
  • gotta521
  • 2014年11月05日 22:21
  • 815

图解hive运行机制

Hive是构建在Hadoop之上的数据仓库平台,它的创造是为了让非Java程序员更方便使用MapReduce 它的架构如下图所示: 它的运行流程如下图: Hive创建的表的元信息...
  • sinat_35045195
  • sinat_35045195
  • 2017年03月18日 14:18
  • 806
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive 启动方式及执行流程
举报原因:
原因补充:

(最多只允许输入30个字)