47：Spark中的新解析引擎Catalyst源码SqlParser彻底详解

本期内容：

1. SqlParser的基本工作机制

2. SqlParser源码彻底详解

把DataFrame、DataSet变成树。Spark中哟很多结构是树结构。

树形结构

从前面的介绍，我们可以看到sqlParser会返回一个logicalPlan，它是TreeNode的子类。

TreeNode，作为一个树形抽象类，SQL语法的解析的时候，所有的元素都是TreeNode，可能是叶子节点，也可能是树枝节点,可能有0个或多个子节点，其方法都是对树的操作。

通过SQLParser，会把我们的sql语句变成一颗树，针对这个树，我们有一系列的数据类型，并且运用一系列的规则，对这个树进行解析、优化。所以第一个问题，就是怎么生成这个树，这个就是SQLParser的价值。

解析入口

sqlparse完成的步骤就是怎么把一个sql变成树状结构。

我们进入源码，从sql方法开始，会调用parseSql方法。

其最终是会调用ParserDialect的parse方法。

再进一步，会调用AbstractSparkSQLParser的parse方法来实现，这个方法非常的关键，使用的是个模板模式。

这里面会用到lexical词法解析。

首先我们看到，在构造时，会使用反射的方式来找到所有保留的关键字。

并在词法解析器初始化时，会进行添加。

AbstractSparkSQLParser的parse方法是关键，我们来详细解析一下。
这里有三个关键部分，phrase方法，start方法和Scanner对象。

解析方法1:循环遍历

首先看一下phrase方法，这是一个总控方法，会构造一个解析器，内部这是个循环器，循环读取字符串中的数据，进行解析生成短语。注意下，方法核心就是调用一句p(in)，其中p是start方法，而in是Scanner对象。

解析方法2:分词

再看下Scanner对象，其主要作用是对字符串进行分词，其中核心是whitespace和token方法。
Success封装了我们当前的解析结果和没有解析的结果，对分词功能来说，未解析部分是我们需要的。

whitespace中定义了对于分割词的规则。

token中定义了合法字符的校验。

这里的表达是比较复杂，我们简单看一下。

关键字都会被定义为Keyword类型，这里有两个隐式转换。

首先是对Keyword进行转换，会对字符进行格式化normalize。

下面是更关键，会对输入字符进行隐式转换，构建Parser，默认是于输入字符进行==等式判断。

acceptIf方法内部会调用输入对象而first方法进行判断，并返回Success或Failure对象。

解析方法3:生成语法树

最后让我们看下start方法，这个方法就是对分词的结果进行匹配，并生成TreeNode。

这里使用到了非常强大的模式匹配，将select语句的各个部分解析出来，并形成了一个logicalPlan。

至此，sqlParse的过程完成。总而而言，对输入字符会进行两轮处理，第一轮是通过Scanner进行分词处理，第二轮是根据语法规则，将各个语句部分生成TreeNode。

小结

整个Spark中，有几个数据结构，RDD、broadcast、accumulator，各个子框架都需要用RDD来存储数据。

我们传递了两个观点：
1.无论是哪个子框架，最终肯定是被rdd来存储的，一般只不过是在构建时会使用一个新的数据结构，比如sparksql是用树的方式来构建。
2.上面的算法调度执行引擎等一般都是依赖spark core，并加入自己基于这个数据结构领域框架需要的特色。