hive

hive

hive是基于Hadoop的一个数据仓库工具**，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。** 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式。
特点：
● 支持创建索引，优化数据查询。
● 不同的存储类型，例如，纯文本文件、HBase 中的文件。
● 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。
● 可以直接使用存储在Hadoop 文件系统中的数据。
● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF 函数来完成内置函数无法实现的操作。
● 类SQL 的查询方式，将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。
● 类似api接口，本身不存储，不计算
● 依赖hdfs存储，依赖MapReduce计算

hive与hadoop的交互参考：

1、 executeQuery：用户通过Hive界面（CLI/Web UI）将查询语句发送到Driver（驱动有JDBC、ODBC等）来执行；
2、 getPlan ：Driver根据查询编译器解析query语句，验证query语句的语法、查询计划、查询条件；
3、 getMetaData：编译器将元数据请求发送给Metastore；
4、 send MetaData：Metastore将元数据作为响应发送给编译器；
5、 send Plan：编译器检查要求和重新发送Driver的计划。至此，查询的解析和编译完成；
6、 execute Plan：Driver将执行计划发送给执行引擎；
6.1、 MetaDataOps for DDLs：执行引擎发送任务的同时，对hive元数据进行相应操作（直接对数据库表进行操作的（创建表、删除表等），直接与MetaStore进行交互）。
6.1、 execute Job：mapreduce执行job的过程。执行引擎发送任务到resourcemanager，resourcemanager将任务分配给nodenameger，由nodemanager分布式执行mapreduce任务。
6.2、 任务执行结束，返回执行结果给执行引擎，同步执行6.3；
6.3、 找Namenode获取数据
7、fetch Results：执行引擎接收来自数据节点(data node)的结果
8、sendResults：执行引擎发送这些合成值到Driver
9、sendResults：Driver将结果发送到hive接口
Hadoop中的数据仓库Hive详细参考：
https://blog.csdn.net/wangzi11111111/article/details/89096936#1_2