本文详细描述了HiveSQL从ANTLR定义的语法规则出发，通过抽象语法树AST和查询块QB的处理，再到操作树OperatorTree的构建，逻辑层和物理层优化器如何减少数据移动和提升性能，最终生成优化后的MapReduce任务执行计划的过程。
hiveSQL~~~AST（抽象语法树）~~~QB（查询块）~~~OperatorTree（操作树）~~~优化过的操作树~~~MapReduce任务树~~~优化后的MapReduce任务树
1.Antlr定义SQL的语法规则，完成SQL词汇，语法解析，将SQL转化为抽象语法树AST Tree；
2.遍历AST Tree，抽象出查询的基本组成单元QueryBlock；
3.遍历QueryBlock，翻译为执行操作树OperatorTree；
4.逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量；
5.遍历OperatorTree，翻译为MapReduce任务；
6.物理层优化器进行MapReduce任务的变换，生成最终的执行计划；
扫一扫
764
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
