Hive将SQL转化为MapReduce的过程
1.Antlr定义SQL的语法规则,完成SQL词法,语法解析,将sql转化为抽象树AST TREE
2.遍历AST TREE,抽象出查询的基本组成单元QueryBlock
3.遍历QueryBlock,翻译为执行操作数OperatorTree
4.逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量
5.遍历OperatorTree,翻译为MapReduce任务
6.物理层优化器进行MapReduce任务的变换,生成最终的执行计划
Hive将SQL转化为MapReduce的过程
最新推荐文章于 2024-07-30 09:00:28 发布