Hive-数据仓库工具,特性介绍

一、Hive的存储

       Hive是基于Hadoop分布式文件系统的，它的数据存储在HDFS中。Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中。

  数据组织方式：

• Table：每个表存储在HDFS上的一个目录下
• Partition(可选)：每个Partition存储再Table的子目录下
• Bucket(可选)：某个Partition根据某个列的hash值散列到不同的Bucket中，每个Bucket是一个文件

用户可以指定Partition方式和Bucket方式，使得在执行过程中可以不用扫描某些分区。看上去Hive是先指定Partition方式，再在相同的Partition内部调用hash函数；GreenPlum是向指定Hash方式，在Hash分片内部，指定不同的分区方式。

文件存储方面有：textfile、orcfile、rcfile、parquet、sequencefile 。

二、Hive的执行

      Hive的执行是通过把HQL语句翻译成对应的大数据计算引擎的JOB任务来操作HDFS中的文件数据的。早期主要是基于Hadoop的MapReduce，但是MR的特性，导致查询的速度会有很大的限制，随着Spark内存计算引擎的出现及推广，HiveOnSpark也被推出来。从这个角度看，Hive本身可以理解为一个翻译器（把SQL语句翻译成对应的执行引擎的任务），是一个基于大数据系统的数据分析引擎（数据仓库）。

执行引擎：mapreduce、tez、spark

三、Hive的架构

由上图可知，HDFS 和 MR/Spark 是 hive 架构的根基。

• MetaStore：存储和管理Hive的元数据，使用关系数据库来保存元数据信息。
• 解释器和编译器：将SQL语句生成语法树，然后再生成DAG，成为逻辑计划
• 优化器：只提供了基于规则的优化
  • 列过滤：只查询投影列
  • 行过滤：子查询where语句包含的partition
  • 谓词下推：减少后面的数据量
  • Join方式
    • Map join：一大一小的表，将小表广播(指定后在执行前统计，没有数据直方图)
    • shuffle join：按照hash函数，将两张表的数据发送给join
    • sort merge join：排序，按照顺序切割数据，相同的范围发送给相同的节点(运行前在后台创建立两张排序表，或者建表的时候指定)
• 执行器：执行器将DAG转换为MR任务／Spark中的JOB

四、Hive的特点

• Hive 最大的特点是 Hive 通过类 SQL 来分析大数据，避免了写 大数据计算引擎程序来分析数据，这样使得分析数据更容易
• Hive 是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如 MySQL）
• Hive 本身并不提供数据的存储功能，数据一般都是存储在 HDFS 上的（对数据完整性、格式要求并不严格）
• Hive 很容易扩展自己的存储能力和计算能力，这个是继承自 hadoop 的（适用于大规模的并行计算）
• Hive 是专为 OLAP 设计，不支持事务

优点：

　　1、可扩展性,横向扩展，Hive 可以自由的扩展集群的规模，一般情况下不需要重启服务 横向扩展：通过分担压力的方式扩展集群的规模 纵向扩展：一台服务器cpu i7-6700k 4核心8线程，8核心16线程，内存64G => 128G

　　2、延展性，Hive 支持自定义函数，用户可以根据自己的需求来实现自己的函数

　　3、良好的容错性，可以保障即使有节点出现问题，SQL 语句仍可完成执行

缺点：

　　1、Hive 不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结 果导入到文件中（当前选择的 hive-2.3.2 的版本支持记录级别的插入操作）

　　2、Hive 的查询延时很严重，因为 MapReduce Job 的启动过程消耗很长时间，所以不能 用在交互查询系统中。

　　3、Hive 不支持事务（因为不没有增删改，所以主要用来做 OLAP（联机分析处理），而 不是 OLTP（联机事务处理），这就是数据处理的两大级别）。