Hive基础介绍

 

 

1.hive的基本概念

• Hadoop的一个数据仓库工具
• 可以将结构化的数据文件映射为一张数据库表
• 提供简单的SQL查询功能
• 底层数据是存储在 HDFS上
• Hive的本质是将 SQL 语句转换为 MapReduce任务执行
• 元数据信息是存放在Mysql中，元数据{（表名字、表字段、表字段类型、存放在HDFS的位置）记录数据的数据。}

2.为什么要使用hive

• 为超大数据集设计的计算/扩展能力
• 统一的元数据管理
• MapReduce实现复杂查询逻辑开发难度大，因为需要自己写代码实现整个处理逻辑以及完成对数据处理过程的优化，而hive将很多数据统计逻辑封装成了可直接使用的窗口函数，且支持自定义窗口函数来进行扩展

3.hive的架构

hive架构如下：

 

可以看出，Hive的内部架构总共分为四大部分：

1 用户接口层（cli、JDBC/ODBC、Web UI）

(1) cli （Command Line Interface），shell终端命令行，通过命令行与hive进行交互；

(2) JDBC/ODBC，是 Hive 的基于 JDBC 操作提供的客户端，用户（开发员，运维人员）通过客户端连接至 Hive server 服务；

(3)Web UI，通过浏览器访问hive。

2 元数据存储系统

(1) 元数据 ，通俗的讲，就是存储在 Hive 中的数据的描述信息；

(2)Hive 中的元数据通常包括：表的名字，表的列和分区及其属性，表的属性（内部表和 外部表），表中数据所在的目录；

(3)Metastore 默认存在自带的 Derby 数据库或者我们自己创建的 MySQL 库中；

(4)Hive 和 MySQL或Derby 之间通过 MetaStore 服务交互。

3 Thrift Server-跨语言服务

Hive集成了Thrift Server，让用户可以使用多种不同语言来操作hive。

4 Driver(Compiler/Optimizer/Executor)

Driver完成HQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS上，并由MapReduce调用执行。

整个过程的执行步骤如下：

1. 解释器完成词法、语法和语义的分析以及中间代码生成，最终转换成抽象语法树；
2. 编译器将语法树编译为逻辑执行计划；
3. 逻辑层优化器对逻辑执行计划进行优化，由于Hive最终生成的MapReduce任务中，而Map阶段和Reduce阶段均由OperatorTree组成，所以大部分逻辑层优化器通过变换OperatorTree，合并操作符，达到减少MapReduce Job和减少shuffle数据量的目的；
4. 物理层优化器进行MapReduce任务的变换，生成最终的物理执行计划；
5. 执行器调用底层的运行框架执行最终的物理执行计划。

4.hive的优缺点

hive的优点

1. 简单容易上手：提供了类SQL查询语言HQL
2. 可扩展：为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统）一般情况下不需要重启服务Hive可以自由的扩展集群的规模。
3. 提供统一的元数据管理
4. 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数
5. 容错：良好的容错性，节点出现问题SQL仍可完成执行

hive的缺点

1. hive的HQL表达能力有限

• 迭代式算法无法表达，比如pagerank
• 数据挖掘方面，比如kmeans

2.hive的效率比较低

• hive自动生成的mapreduce作业，通常情况下不够智能化
• hive调优比较困难，粒度较粗

3.hive可控性差

5,hive的数据组织方式

1.Hive的数据组织包括数据库、表、视图、分区、分桶和表数据等。数据库，表，分区等等都对应 HDFS上的一个目录。分桶和表数据对应 HDFS 对应目录下的文件。

2.Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式，因为 Hive 是读模式 （Schema On Read），可支持 TextFile，SequenceFile，RCFile 或者自定义格式等。

3.Hive 中包含以下数据模型：

• database：在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
• table：在 HDFS 中表现所属 database 目录下一个文件夹
• external table：与 table 类似，不过其数据存放位置可以指定任意 HDFS 目录路径
• partition：在 HDFS 中表现为 table 目录下的子目录
• bucket：在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散列之后的多个文件
• view：与传统数据库类似，只读，基于基本表创建

4.Hive 中的表分为内部表、外部表、分区表和 分桶表

内部表和外部表的区别：

• 内部表数据由Hive自身管理，外部表数据由HDFS管理；
• 删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。

分区表和分桶表的区别：

• 分区表，Hive 数据表可以根据某些字段进行分区操作（通常是时间或地区），细化数据管理，让部分查询更快；
• 分桶表：表和分区也可以进一步被划分为桶，分桶表中的数据是按照某些分桶字段进行 hash 散列形成的多个文件。