数据标签开发之SparkSQL

书中简介
注意Tree和Rules的概念

1） 将SQL语句通过词法和语法解析生成未绑定的逻辑计划（包含Unresolved
Relation、Unresolved Function和Unresolved Attribute），然后在后续步骤中使用不同的Rule应用到该逻辑计划上；

2） Analyzer使用Analyzer Rules，配合数据元数据（如Sessioncatalog或Hive Metastore等），完善未绑定的逻辑计划的属性而转换成绑定的逻辑计划。具体流程是先实例化一个Simple Analyzer，然后遍历预先定义好的Batch，通过父类的Rule Exector的执行方法运行Batch里面的Rules，每个Rule会对未绑定的逻辑计划进行处理，有些可以通过一次解析处理，有些需要多次迭代，迭代到FixPoint次数迭代或前后两次的树结构没有变化。

3） Optimizer使用Optimization Rules，将绑定的逻辑计划进行合并、列裁剪和过滤器下推等优化工作后生成优化的逻辑计划。

4） Planner使用Planning Strategies，对优化的逻辑计划进行转换（Transform）生成可以执行的物理计划。根据过去的性能统计数据，选择最佳的物理执行计划CostModel，最后可以执行的物理执行计划树，即得到SparkPlan。

5） 在最终真正执行物理执行计划前，还要进行preparations规则处理，最后调用SparkPlan的execute执行计算RDD