1.Hive概述
hive是什么?
基于Hadoop、数据仓库、结构化、类SQL、MapReduce任务
架构
- 基本组成(用户接口)
CLI
JDBC/ODBC
Web UI
- 元数据存储
1)元数据是什么?
存储在Hive中的数据的描述信息
2)有哪些?
表的名、表的列和分区以及属性(内部表和外部表)、表的数据所在目录
3)存在哪儿?
自带Derby。缺点:不适合多用户操作,并且数据存储目录不确定
4)解决方案
存在自己创建的MySQL中(本地或远程)
- 解释器、编译器、优化器、执行器
这四大组件完成 HQL 查询语句从词法分析、语法分析、编译、优化以及生成查询计划的生成。生成的查询计划存储在 HDFS 中,并随后由 MapReduce 调用执行
-执行流程
HiveQL 通过命令行或者客户端提交,经过 Compiler 编译器,运用 MetaStore 中的元数据进行类型检测和语法分析,生成一个逻辑方案(logical plan),然后通过的优化处理,产生一个 MapReduce 任务
2.Hive和Hadoop的关系
Hive 将 HQL 转换成 MapReduce 执行, Hive 依赖于 HDFS 存储数据
所以说 Hive 是基于 Hadoop 的一个数据仓库工具,实质就是一款基于 HDFS 的 MapReduce 计算框架
3.Hive和RDBMS对比
总结:Hive 具有 SQL 数据库的外表,但应用场景完全不同, Hive 只适合用来做批量海量数据统计分析,也就是数据仓库
4.Hive的数据存储
4.1.数据存储格式
可支持 TextFile、SequenceFile、 ParquetFile、RCFILE 等
4.2.解析数据
只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符
4.3.数据模型
db | 在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹 |
---|---|
able | 在 HDFS 中表现所属 db 目录下一个文件夹 |
external table | 与 table 类似,不过其数据存放位置可以在任意指定路径 |
partition | 在 HDFS 中表现为 table 目录下的子目录 |
bucket | 在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件 |