通过hive底层执行过程排查hsql执行问题

众所周知，hive是执行在Hadoop集群上的数据仓库工具，它会将数据映射成表格的方式，以类似sql的语句执行mapreduce。

那么，具体执行过程怎么转换成mapreduce任务的呢？

首先 我们要清楚hivesql的执行顺序：

• 第一步：执行FROM
• 第二步：WHERE条件过滤,and 比or的优先级高
• 第三步：GROUP BY分组
• 第四步：执行SELECT投影列
• 第五步：HAVING条件过滤
• 第六步：执行ORDER BY 排序

然后，比较重要的一点就是怎么运行的了，简单来说产生需要聚合、shuffle这一类的计算就会产生reduce，比如groupBy、partitionby ，join之类的，如果产生了reduce计算并且这些计算在select计算之前，select计算也会在reduce阶段进行。

此时如果产生了数据倾斜，而且select时使用了一些函数，就很有可能因为执行时间过长而失败。我最近用udf函数求地址相似度的时候就遇到这种问题，因为去掉这个函数之后数据倾斜并不明显，我就认为是函数的问题，浪费了不少精力

如果sql稍微复杂，可以借助explain+sql查看执行过程，就可以更加明确导致sql失败的原因啦~