hive explain 执行计划详解看懂执行过程

HIVE简介

讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？

一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。

• Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
• HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
• MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。

Hadoop执行的是MR的任务，相对来说开发成本高，而我只会写sql的菜鸟，根本没办法开发。这个时候有大聪明就给我这样的菜鸟开发了hive这样的工具，告诉我只要在这写sql就行了。

Hive是基于Hadoop的一个数据仓库工具。通过hive，我们可以方便地进行ETL与数据查询的工作。Hive定义了一个类似于SQL的查询语言：HQL，能够将用户编写的HQL转化为相应的Mapreduce程序基于Hadoop执行。

一直在说mr，hadoop也是mr，到了hive后还是mr，那么mapreduce的工作流到底是啥样呢？

mapreduce工作流程

mapreduce 分为：map & reduce

MapReduce用于大规模数据集（大于1TB）的并行运算。概念**“Map（映射）”和“Reduce（归纳）”**以及它们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

Map（映射）函数：用来把一组键值对映射成一组新的键值对。

Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

如下图所示：

下面一个经典的“Hello World”例程—单词计数来分析MapReduce的逻辑，如下图 所示。一般的 MapReduce 程序会经过以下几个过程：输入（Input）、输入分片（Splitting）、Map阶段、Shuffle阶段、Reduce阶段、输出（Final result）。 

1、输入就不用说了，数据一般放在 HDFS 上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。

2、输入分片：在进行 Map 阶段之前，MapReduce 框架会根据输入文件计算输入分片（split），每个输入分片会对应一个 Map 任务，输入分片往往和 HDFS 的块关系很密切。例如，HDFS 的块的大小是 128M，如果我们输入两个文件，大小分别是 27M、129M，那么 27M 的文件会作为一个输入分片（不足 128M 会被当作一个分片），而 129MB 则是两个输入分片（129-128＝1，不足 128M，所以 1M 也会被当作一个输入分片），所以，一般来说，一个文件块会对应一个分片。Splitting 对应下面的三个数据应该理解为三个分片。

3、Map 阶段：这个阶段的处理逻辑就是编写好的 Map 函数，因为一个分片对应一个 Map 任务，并且是对应一个文件块，所以这里其实是数据本地化的操作，也就是所谓的移动计算而不是移动数据。如上图所示，这里的操作其实就是把每句话进行分割，然后得到每个单词，再对每个单词进行映射，得到单词和1的键值对。

4、Shuffle 阶段：这是“奇迹”发生的地方，MapReduce 的核心其实就是 Shuffle。那么 Shuffle 的原理呢？Shuffle 就是将 Map 的输出进行整合，然后作为 Reduce 的输入发送给 Reduce。简单理解就是把所有 Map 的输出按照键进行排序，并且把相对键的键值对整合到同一个组中。如上图所示，Bear、Car、Deer、River 是排序的，并且 Bear 这个键有两个键值对。

5、Reduce 阶段：与 Map 类似，这里也是用户编写程序的地方，可以针对分组后的键值对进行处理。如上图所示，针对同一个键 Bear 的所有值进行了一个加法操作，得到 <Bear，2> 这样的键值对。

6、输出：Reduce 的输出直接写入 HDFS 上，同样这个输出文件也是分块的。

用一张图表示上述的运行流程：MapReduce 的本质就是把一组键值对 <K1，V1> 经过 Map 阶段映射成新的键值对 <K2，V2>；接着经过 Shuffle/Sort 阶段进行排序和“洗牌”，把键值对排序，同时把相同的键的值整合；最后经过 Reduce 阶段，把整合后的键值对组进行逻辑处理，输出到新的键值对 <K3，V3>。这样的一个过程，其实就是 MapReduce 的本质。

上面mapreduce过程的图片比较抽象，然后下面找一张形象的图片

形象的图片总是看上去好像，但是没有说明，我又找一张人家提供的备注讲解图片

到这里整个mr过程形象讲解就到这里了，但是跟我们说的hive和explain又有什么关系呢？

EXPLAIN 解释

一个HIVE查询被转换为一个由一个或多个stage组成的序列（有向无环图DAG）。这些stage可以是MapReduce stage，也可以是负责元数据存储的stage，也可以是负责文件系统的操作（比如移动和重命名）的stage。

HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助，那我们就去了解如何查看这个explain的结果。

使用语法如下：

EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] query

explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的

EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大

CBO：输出由Calcite优化器生成的计划。CBO 从 hive 4.0.0 版本开始支持

AST：输出查询的抽象语法树。AST 在hive 2.1.0 版本删除了，存在bug，转储AST可能会导致OOM错误，将在4.0.0版本修复

DEPENDENCY：dependency在EXPLAIN语句中使用会产生有关计划中输入的额外信息。它显示了输入的各种属性

AUTHORIZATION：显示所有的实体需要被授权执行（如果存在）的查询和授权失败

LOCKS：这对于了解系统将获得哪些锁以运行指定的查询很有用。LOCKS 从 hive 3.2.0 开始支持

VECTORIZATION：将详细信息添加到EXPLAIN输出中，以显示为什么未对Map和Reduce进行矢量化。从 Hive 2.3.0 开始支持

ANALYZE：用实际的行数注释计划。从 Hive 2.2.0 开始支持

加参数的太过复杂，但相对的更有针对性，作为菜鸟的我是看不懂的。这里只讲不加参数的explain的结果查看，其他可以自己再查看类比。

Explain 先从最外层开始，包含两个大的部分：

1. stage dependencies： 各个stage之间的依赖性
2. stage plan： 各个stage的执行计划

先看第一部分 stage dependencies ，包含两个 stage，Stage-1 是根stage，说明这是开始的stage，Stage-0 依赖 Stage-1，Stage-1执行完成后执行Stage-0。

再看第二部分 stage plan，里面有一个 Map Reduce，一个MR的执行计划分为两个部分：

1. Map Operator Tree：