Hive简介

Apache Hive

Hive简介

1.什么是 Hive

• Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供类 SQL 查询功能。

• 本质是将 L SQL 转换为 e MapReduce 程序。主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高

2.Hive 架构

2.1Hive 架构图

2.2Hive 组件

• 用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command lineinterface)为 shell 命令行；JDBC/ODBC 是 Hive 的 JAVA 实现，与传统数据库JDBC 类似；WebGUI 是通过浏览器访问 Hive。
• 元数据存储：通常是存储在关系数据库如 mysql/derby 中。Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
• 解释器、编译器、优化器、执行器:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

2.3Hive 与 与 Hadoop 的关系

​ Hive 利用 S HDFS 存储数据，利用 e MapReduce 查询分析数据。

3.Hive 与传统数据库 对比

​ hive 用于海量数据的离线数据分析。
​ hive 具有 sql 数据库的外表，但应用场景完全不同，hive 只适合用来做批量数据统计分析。
更直观的对比请看下面这幅图：

4.Hive 数据模型

​ Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式在创建表时指定数据中的分隔符，Hive 就可以映射成功，解析数据。

• Hive 中包含以下数据模型：
  
  • db ：在 hdfs 中表现为 hive.metastore.warehouse.dir 目录下一个文件夹
  • table ：在 hdfs 中表现所属 db 目录下一个文件夹
  • external table ：数据存放位置可以在 HDFS 任意指定路径
  • partition ：在 hdfs 中表现为 table 目录下的子目录
  • bucket ：在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件