在hive和mysql中都可以通过explain+sql语句,来查看执行顺序。
对于一条标准sql语句,它的书写顺序是这样的:
select...count(distinct...)...from...join on...where...group by...having...distribute by/cluster by...sort by...order by...limit...union/union all
hive语句执行顺序:
from...on...join...where...group by...聚合函数sum/avg/count...having...select...distinct...distribute by/cluster by...sort by...order by...limit...union/union all
基于mapreuce引擎,做了如下操作:
Map阶段:
1.执行from加载,进行表的查找与加载
2.执行where过滤,进行条件过滤与筛选
3.执行select查询:进行输出项的筛选
4.执行group by分组:描述了分组后需要计算的函数
5.map端文件合并:map端本地溢出写文件的合并操作,每个map最终形成一个临时文件。然后按列映射到对应的reduceReduce阶段:
Reduce阶段:
1.group by:对map端发送过来的数据进行分组并进行计算。
2.select:最后过滤列用于输出结果
3.limit排序后进行结果输出到HDFS文件