Hadoop数据仓库工具——Hive

一、什么是Hive：
1）基于Hadoop的数据仓库解决方案
- 将结构化的数据文件映射为数据库表
- 提供类sql的查询语言HQL(Hive Query Language)
- Hive让更多的人使用Hadoop
2）Hive为Apache顶级项目
- Hive始于2007年的Facebook
- 官网：hive.apache.org
二、Hive的优势和特点
- 入门简单，HQL类SQL语法
- 统一的元数据管理，可与impala/spark等共享元数据
- 灵活性和扩展性较好：支持UDF，自定义存储格式等
- 支持在不同的计算框架上运行(MR,Tez,Spark)
- 提供了一个简单的优化模型
- 适合离线数据处理，稳定可靠(真实生产环境)
- 有庞大活跃的社区
三、Hive元数据管理
- 记录数据仓库中模型的定义、各层级间的映射关系
- 存储在关系型数据库中
- 内嵌模式：实际生产一般存储在MySQL中
- Derby非常适合测试和演示
- 存储在.metastore_db目录中
- 本地模式：实际生产一般存储在MySQL中
- 远程配置文件hive-site.xml
- 远程模式
- HCatalog
- 将Hive元数据共享给其他应用程序
四、原理

1）用户接口：Client
2）元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
3）Hadoop
使用HDFS进行存储，使用MapReduce进行计算。
4）驱动器：Driver
（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；
（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。
（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。