hive架构

hive架构图

这里写图片描述
hive:将结构化的数据文件映射到表中 。元数据库Meta store 中就存储着这种映射的信息。
元数据信息包括:表名,表上所属的数据库,表的拥有者,表的列,分区字段,表的类型(是否为内部表),表中数据所在hdfs上的目录位置。

HQL语句如何转化为MapReduce?

解析器:首先将SQL字符串转化成抽象语法树AST,这一步一般用的是第三方工具库完成,比如abtlr;对AST进行语法分析,
比如表是否存在,字段是否存在,sql语义是否有误等。
编译器:将AST编译成逻辑执行计划。
优化器:对逻辑执行计划进行优化。
执行器:把逻辑执行计划转化为可以运行的物理计划,对于hive来说,就是MR/Spark/TEZ.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值