Hive基础

一、什么是Hive

1、定义

Apache Hive是一个由Apache软件基金会维护的开源项目，由Facebook贡献。

Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，同时可以将SQL语句转化为MapReduce作业进行运行。Hive具有一系列功能，可以进行数据提取、转化和加载，是一种可以查询和分析存储在Hadoop中的大规模数据的工具。

2、Hive在Hadoop生态系统的位置

从图中可以看出，运行Hive的必要环境便是Hadoop的核心: HDFS、MapReduce以及YARN, 也可以这样理解，Hive 是由Hadoop衍生出来的上层应用之一: SQL onHadop. Hive执行的本质仍然是MapReduce,但多了一一步 SQL至MapReduce的转化操作，所以相同条件下，Hive在运行时并没有直接编写MapReduce执行效率高。

3、Hive与传统关系型数据库

 Hive与传统关系型数据库(Reltional Database Management System, RDBMS) 有很多相同的地方，包括查询语言与数据存储模型等。Hive的SQL方言一般被称为HiveQL,简称HQL. HQL并不完全遵循SQL92标准，比如HQL只支持在From子句中使用子查询，并且子查询必须有名字。最重要的是，HQL须在Hadoop上执行，而非传统的数据库。在存储模型方面，数据库、表都是相同的概念，但Hive中增加了分区和分桶的概念。

它们的主要区别是数据仓库适合联机分析处理（OLAP），通常是对某些主题的历史数据进行分析；而数据库适合联机事务处理（OLTP），通常是在数据库联机时对业务数据进行添加、删除、修改、查询等操作。

 4、Hive的特点与优势

（1）特点

➢HQL与SQL有着相似的语法，大大提高了开发效率。

➢Hive支持运行在不同的计算框架上，包括YARN、Tez、Spark、Flink等。

➢Hive支持HDFS与HBase上的ad-hoc。

➢Hive 支持用户自定义的函数、脚本等。

➢Hive支持Java数据库连接(Java Database Connectivity, JDBC)与开放数据库连接(Open Database Connectivity, 0DBC) 驱动，建立了自身与ETL、BI工具的通道。

（2）优势

➢可扩展: Hive可以自由扩展集群的规模，一般情况下无须重启服务。

➢可延展: Hive支持用户自定义函数，用户可根据自己的需求来编写自定义函数。

➢可容错:Hive良好的容错性使得节点出现问题时SQL仍可完成执行。

总之，当我们使用Hive时，操作接口采用类SQL语法，提高了快速开发的能力，避免了编写复杂的MapReduce任务，减少了开发人员的学习成本，而且扩展很方便。

二、Hive架构设计

Hive架构包含3个部分。
➢Hive客户端(HiveClients)。Hive为不同类型应用程序提供不同的驱动，使应
用程序可通过Java、Python等语言连接Hive并进行与RDBMS类似的SOL查询操作。
对于Java应用程序，Hive提供了JDBC驱动；对于其他应用程序，Hive提供了ODBC
驱动。
➢Hive服务端(Hive Services)。客户端必须通过服务端与 Hive交互，服务端主
要包括CLI、Hive Server、Hive Web Interface、Driver、Metastore 等组件。
➢Hive存储与计算(Hive Storage and Computing)。Hive 主要通过元数据存储数
据库和Hadoop集群进行数据的存储与计算。Hive的元数据使用RDBMS存储，Hive的
数据存储在HDFS中，大部分数据查询由 MapReduce 完成。

三、工作流程

四、使用场景

➢Hive适用于非结构化数据的离线分析统计场合。

➢Hive的执行延迟比较高，因此适用于对实时性要求不高的场合。

➢Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。