关闭

Hive与Hadoop的调用关系

287人阅读 评论(0) 收藏 举报
分类:

一、调用图





二、步骤解析


1、提交sql  交给驱动


2、驱动编译:解析相关的字段表信息


3、去metastore查询相关的信息 返回字段表信息


4、编译返回信息 发给驱动


5、驱动发送一个执行计划 交给执行引擎


6、执行计划


6.1、DDLs 对数据库表的操作的 直接和metastore交互
 create table t1(name string);


6.1、把job交给job tracker 让task tracker执行 返回执行信息


6.2、完成job返回数据信息、找namenode查数据


6.3、dfs ops 直接和namenode取数据
select * from t1;
select count(1) from t1;

7、返回结果信息集





0
0
查看评论

Hive,Hbase,HDFS,MapReduce等之间的关系

Hive: Hive不支持更改数据的操作,Hive基于数据仓库,提供静态数据的动态查询。其使用类SQL语言,底层经过编译转为MapReduce程序,在Hadoop上运行,数据存储在HDFS上。 HDFS: HDFS是GFS的一种实现,他的完整名字是分布式文件系统,类似于FAT32,NTFS,是...
  • xincai
  • xincai
  • 2017-05-03 15:06
  • 776

Hive,Hbase,HDFS等之间的关系

Hive: Hive不支持更改数据的操作,Hive基于数据仓库,提供静态数据的动态查询。其使用类SQL语言,底层经过编译转为MapReduce程序,在Hadoop上运行,数据存储在HDFS上。 HDFS: HDFS是GFS的一种实现,他的完整名字是分布式文件系统,类似于FAT32,NTFS,是一种文...
  • OOC_ZC
  • OOC_ZC
  • 2016-01-01 00:54
  • 20912

Hadoop Hive与Hbase关系 整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunsh...
  • liuzhenwen
  • liuzhenwen
  • 2014-06-02 06:44
  • 42984

HBase 与 Hive 的区别和关系

看到了很多博文中对HBase 与 Hive 的区别做了一些说明,关于这个问题,在刚开始学习 HBase 和 Hive 时就有了这个问题在我脑海中,所以在看到这些博文后,忽然觉得茅塞顿开,可能还需要一段时间的消化和吸收,但是已经比之前明白了许多,写下这篇博文,供日后使用。一 由简入繁,通俗的说看到一篇...
  • andrewgb
  • andrewgb
  • 2016-01-10 18:21
  • 2989

Spark与Hadoop关系

Spark是一个计算框架 Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。   Spark是MapReduce的替代方案,而且兼容HDFS、Hive等分布式存储系统,可融入Hadoop生态。   Spark与Hadoop MapReduce优势如...
  • gdp12315
  • gdp12315
  • 2015-10-20 15:07
  • 1409

使用odps 和 hive 后对数据库与数据仓库概念的理解

学习大数据处理工具时发现理解数据库和数据仓库两个概念的重要性,这里进行一个总结。
  • huruzun
  • huruzun
  • 2015-09-29 22:10
  • 2184

hadoop与hive

目录(?)[-] 1  简介2  Hive项目介绍3  使用Derby数据库安装 Hadoop和Hbase都已经成功安装了下载hive安装替换jar包与hbase096和hadoop22版本一致配置hive启动hive测试hive 4  使用MY...
  • u012107806
  • u012107806
  • 2016-01-01 16:02
  • 242

Hadoop、Hbase、Hive版本兼容性

装Spark的时候想当然的装了Hadoop的最新版 2.6.x 结果后面再安装HBase和Hive的时候  遇到了 彼此无法兼容的问题  总有一个安装无法连接其他 .. 现在记录一下这三者的关系
  • u012102306
  • u012102306
  • 2016-08-24 16:19
  • 3724

Hive之 hive与hadoop的联系

Hive与Hadoop调用图 解析: 1、提交sql 交给驱动 2、驱动编译:解析相关的字段表信息 3、去metastore查询相关的信息 返回字段表信息 4、编译返回信息 发给驱动 5、驱动发送一个执行计划 交给执行引擎 6、执行计划 (三种形式: metastore、nam...
  • zhang123456456
  • zhang123456456
  • 2017-09-18 16:30
  • 286

hive與hadoop交互過程

Hive有三种用户接口: cli (Command line interface) bin/hive或bin/hive –service cli 命令行方式(默认) hive-server/hive-server2 ...
  • wtq1993
  • wtq1993
  • 2016-08-26 20:11
  • 332
    个人资料
    • 访问:559236次
    • 积分:9346
    • 等级:
    • 排名:第2340名
    • 原创:382篇
    • 转载:205篇
    • 译文:0篇
    • 评论:33条