Hive的架构原理

本文深入解析了Hive的架构组成,包括用户接口层(Client)、元数据存储(Metastore)、驱动层(Driver)以及数据存储方式。揭示了Hive如何将HQL转化为MapReduce任务,高效处理大规模数据。
摘要由CSDN通过智能技术生成
                                                  hive的架构

在这里插入图片描述
Hive接收到用户的指令(HQL)以后,使用自己的Driver和元数据(Meta Store),将这些HQL解析为MapReduce,提交到Hadoop中执行,执行结束后将结果返回到用户交互接口。

1.Client
Hive的用户接口层,CLI即Shell命令行,CLI最常用。
2.Meta store
Hive将元数据存储在数据库中,连接到这些数据库(mysql,derby)的模式分三种:单用户模式,多用户模式,远程服务器模式。
元数据包括Database,表名,表的列及类型,存储空间,分区,表数据所在目录等。
3.Driver
完成HQL的查询语句的词法分析,语法分析,编译,优化以及查询计划的生成。生成的查询计划存储在HDFS中,并由MapReduce调用执行。
4.Hive的数据存储在HDFS中,针对大部分的HQL查询请求,Hive内部自动转换为MapReduce任务执行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值