本文介绍了Hive作为基于Hadoop的数据仓库，详细讨论了Hive的元数据存储、HQL执行过程、安装模式、管理方式以及数据类型、数据存储和数据模型。Hive的元数据可以存储在MySQL或Derby中，其HQL执行涉及解析、编译和优化。数据类型包括基本和复杂类型，如数组、映射和结构。Hive提供了内部表、分区表、外部表和桶表等数据组织方式，视图提供了一种逻辑上的表抽象。
- Hive的元数据
Hive将元数据存储在数据库中，支持mysql。Hive中的元数据包括表的名字、表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录。Hive中的表实际上就是HDFS中的一个目录或者文件。
- Hive中HQL的执行过程
Hive驱动:解析器(词法分析)和、编译器(生成执行计划)和优化器(生成最佳执行计划)完成HQL查询语句从词法分析、语法分析、编译与优化以及查询计划(Plan)的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。
- Hive的安装模式
嵌入模式：元数据被存储在Hive自带的Derby数据库中，只允许创建一个连接，多用于Demo
本地模式：元数据被存储在MySQL数据库中，MySQL与Hive运行在同一个物理系统
远程模式：元数据被存储在MySQL数据库中，MySQL与Hive运行在不同的物理系统中
在安装路径的bin路径下输入./hive命令就可以创建Derby数据库且进入hive 的命令行格式。在某个目录下调用hive命令(添加classpath之后)就会在当前目录下创建一个Derby数据库。
- Hive的管理
CLI(命令行方式)：直接输入hive(已配置classpath)或者输入hive --service cli hive -S 进入静默模式&
最低0.47元/天 解锁文章
扫一扫
4951
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
