大数据生态体系产品(1) - Hive的架构与执行过程

1. MapReduce实现SQL

  下表pv_users为用户访问网页的数据存储：

pageid	age
1	25
2	25
1	32
2	25

  查询不同年龄段访问网页的数据情况。

1.1 SQL实现

  SQL语句如下：

Select pageid, age, count(1) From pv_users Group By page_id, age;

  查询结果为：

pageid	age	count
1	25	1
2	25	2
1	32	1

1.2 MapReduce实现

1. 将<pageid, age>作为Map的Key，Map的输出为：<<pageid, age>, 1>;
2. 通过Shuffle进行Sort后，进行Reduce;
3. Reduce的输出就是：<<pageid, age>, count>;

  下图为详细流程，便于理解：

  既然SQL能够被MapReduce计算处理，而对于做数据分析的人来说，写MapReduce程序有学习成本和负担，不如继续写SQL来的方便，在这样的情况下，Hadoop大数据仓库的Hive工具就诞生了。

  SQL之所以可以转为MapReduce，是因为两者在数学上是等价，MapReduce本质就是字段划分→查询→分组聚合，SQL也是这个。这也是Hive能实现的基础，SQL是声明式语言，比写MapReduce简单多了。

2. Hive的架构

  Hive由Facebook开源，用于解决海量结构化日志的数据统计，能够直接处理我们输入的SQL语句（Hive的SQL语法和数据库标准SQL略有不同），调用MapReduce计算框架完成数据分析操作。

  Hive实现的基本原理：

1. Hive处理的数据存储在HDFS
2. Hive分析数据底层的实现是MapReduce
3. 执行程序运行在Yarn上

  下面是它的架构图：

3. Hive执行过程

  通过Hive的Client向Hive提交SQL命令。

• 如果是创建数据表的DDL（数据定义语言）

  Hive会通过执行引擎Driver将数据表的信息记录在Metastore元数据组件中，通过这个组件通常用一个关系数据库实现，记录表名、字段名、字段类型、关联HDFS文件路径等数据库的Meta信息。

• 如果是查询分析数据的 DQL（数据查询语句）

  Driver就会将该语句提交给自己的编译器Compiler进行语法分析、语法解析、语法优化等一系列操作，最后生成一个MapReduce执行计划。然后根据执行计划生成一个MapReduce的作业，提交给Hadoop的MapReduce计算框架处理。