hive 把mysql语句执行_Hive SQL 语句的执行顺序

提示

Hive SQL 教程 编写中，使用过程中有任何建议，提供意见、建议、纠错、催更加微信 sinbam。

当我们写了一个 sql，但是执行起来很慢，这时如果我们知道这个sql的底层执行流程是怎样的，就会比较容易去优化。

虽然表面上是写 sql，但是在从 hive 的 sql，到最终出来执行结果，中间经历了 MR 流程，其中 MR 的 map，combiner，shuffle，reduce 具体是执行了 hive 的那个部分，这样就会比较全面。

执行顺序

在 hive 和 mysql 中都可以通过 explain+sql 语句，来查看执行顺序。对于一条标准 sql 语句，它的书写顺序是这样的：

select … from … where … group by … having … order by … limit …

(1)mysql 语句执行顺序：

from... where...group by... having.... select ... order by... limit …

(2)hive 语句执行顺序：

from … where … select … group by … having … order by … limit …

Hive 的顺序

hive 基于 MapReduce 程序，它的执行顺序决定了 hive 语句的执行顺序，Map 阶段：

执行 from 加载，进行表的查找与加载

执行 where 过滤，进行条件过滤与筛选

执行 select 查询：进行输出项的筛选

执行 group by 分组：描述了分组后需要计算的函数

map 端文件合并：map 端本地溢出写文件的合并操作，每个 map 最终形成一个临时文件。

然后按列映射到对应的 reduceReduce 阶段：

group by：对map端发送过来的数据进行分组并进行计算。

select：最后过滤列用于输出结果

limit：排序后进行结果输出到HDFS文件

优化要点

根据执行顺序，我们平时编写时需要记住以下几点：

使用分区剪裁、列剪裁，分区一定要加

少用 COUNT DISTINCT，group by 代替 distinct

是否存在多对多的关联

连接表时使用相同的关键词，这样只会产生一个 job

减少每个阶段的数据量，只选出需要的，在 join 表前就进行过滤

大表放后面

谓词下推：where 谓词逻辑都尽可能提前执行，减少下游处理的数据量

sort by 代替 order by

参考

https://cloud.tencent.com/developer/article/1453464

https://www.cnblogs.com/gxgd/p/9431783.html

https://blog.csdn.net/wx1528159409/article/details/88583316