本文详细探讨了Spark SQL的表达式系统，包括Expression、QueryPlan的继承结构，以及在不同SQL语句（如aggregation、order by、filter、select）下的物理执行计划。讨论了在优化过程中，如ColumnPruning如何影响Project操作，并通过具体示例分析了表达式计算的逻辑和优化规则。
首先spark sql的设计总体上：
1，首先我们要有一个树的节点，通过这个节点可以继承出单孩子节点，双孩子节点，叶子节点以及多孩子节点。
1.1，树的节点有最基本的遍历操作，这个遍历操作支持各种遍历，前缀后缀中缀，因为有些expression的折叠方式这样要求。
2，expression继承的是树的节点，因为expression可能含有两个孩子，一个孩子，多个孩子，也可能没有孩子。
3，QueryPlan继承的也是树节点，因为QueryPlan是可能还有如join两个孩子的逻辑算子，aggregation一个孩子的逻辑算子，或者relation叶子节点的逻辑算子。由QueryPlan再继承出LogicalPlan和PhysicalPlan的。LogicalPlan之上又有UnaryNode，BinaryNode，LeafNode,通过这些可以集成出join，aggregation等逻辑算子。PhysicalPlan在spark sql中叫SparkPlan，同理有SparkPlan继承出的UnaryNode，BinaryNode，LeafNode，通过这些可以继承出最终的物理join，aggregation。
1.1，树的节点有最基本的遍历操作，这个遍历操作支持各种遍历，前缀后缀中缀，因为有些expression的折叠方式这样要求。
2，expression继承的是树的节点，因为expression可能含有两个孩子，一个孩子，多个孩子，也可能没有孩子。
3，QueryPlan继承的也是树节点，因为QueryPlan是可能还有如join两个孩子的逻辑算子，aggregation一个孩子的逻辑算子，或者relation叶子节点的逻辑算子。由QueryPlan再继承出LogicalPlan和PhysicalPlan的。LogicalPlan之上又有UnaryNode，BinaryNode，LeafNode,通过这些可以集成出join，aggregation等逻辑算子。PhysicalPlan在spark sql中叫SparkPlan，同理有SparkPlan继承出的UnaryNode，BinaryNode，LeafNode，通过这些可以继承出最终的物理join，aggregation。
4
最低0.47元/天 解锁文章
扫一扫
5634
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
