Hive的系统架构

原创 2016年08月28日 17:04:37

一、架构图




二、各组件

用户接口:包括 CLI(控制台命令),JDBC/ODBC,WebUI。

CLI,即Shell命令行
JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似
WebGUI是通过浏览器访问 Hive

------------

metastore:元数据存储,通常是存储在关系数据库如 mysql, derby 中。

Hive 将元数据存储在数据库中(metastore),目前只支持 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

Derby引擎的缺点:一次只能打开一个会话。使用Mysql作为外置存储引擎,多用户同时访问 

-----------

Thrift Server:代码生成工具,让客户端可以用java,c#,c++等主流语言进行访问。

具体见:http://blog.csdn.net/zengmingen/article/details/52346596

-----------

Driver:解释器、编译器、优化器、执行器

完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在 HDFS 中,并在随后由 MapReduce 调用执行

------------

Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算

Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 * 的查询,比如 select * from table 不会生成 MapRedcue 任务)




版权声明:本文为原创文章,转载请注明出处:http://blog.csdn.net/zengmingen。-松门一枝花csdn博客

相关文章推荐

Hive系统架构简介

文章转载自:http://www.yiibai.com/hive/ Hive是什么 Hive 不是 Hive特点 Hive架构 Hive架构的更一般的架构 Hive工作原理Hive是什么?Hive是一...

设计模式:Web App 系统架构(二)

平凡定义具体的App通常有一个这样的开始 app.jsvar app = document.createElement('div');//创建App容器 document.body.appendCh...

大型高并发高负载网站的系统架构浅析

转载请保留出处:俊麟 Michael’s blog (http://www.toplee.com/blog/?p=71) 鄙人先后在CERNET做过拨号接入,在Yahoo&3721搞过搜索前端,...

秒杀系统架构分析与实战

1 秒杀业务分析 正常电子商务流程 (1)查询商品;(2)创建订单;(3)扣减库存;(4)更新订单;(5)付款;(6)卖家发货 秒杀业务的特性 ...

AMD联手开源社区和技术伙伴为服务器带来异构系统架构优化

 AMD于今日宣布了其正在与开源社区和技术伙伴们联手推动其下一代"加速处理器"(APU)产品的消息。该公司研究员Phil Rogers在主题演讲中强调:"AMD正在改进软件和协助其他开发者利...

[MDIT每天一小时]Android系统架构分析

MDIT教育出品,如需转载,请注明转自http://www.855191.cn 1.Android系统架构图 Android官网提供的Android系统的体系结构 ...

Android中背光系统架构

Mg Android中背光系统架构 Email:wei7758@126.com Blog:http://blog.csdn.net/yinwei520 Author:Yww Time:2011...

Android零基础之背景及系统架构

第一篇博客,开启Android,我是被动的Android背景及相关系统架构 个人感觉这一章没什么大的用途,只是了解就可以了。         当你看到这张图片,我相信吸引你的并不是Android了,...

【ITOO】--项目系统架构图

CSDN日报20170223——《作为开发者,你都听产品经理的,做的累不累?》      程序员1月书讯     【招募】Python学习班招生啦   【ITOO】...

秒杀系统架构优化思路

声明:转自阿里云栖社区,在此自己收藏以备回顾。 原文链接:https://yq.aliyun.com/articles/69704 《秒杀系统架构优化思路》 上周参加Qcon,有个兄...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)