Spark源码系列（九）Spark SQL初体验之解析过程详解

好久没更新博客了，之前学了一些R语言和机器学习的内容，做了一些笔记，之后也会放到博客上面来给大家共享。一个月前就打算更新Spark Sql的内容了，因为一些别的事情耽误了，今天就简单写点，Spark1.2马上就要出来了，不知道变动会不会很大，据说添加了很多的新功能呢，期待中…

首先声明一下这个版本的代码是1.1的，之前讲的都是1.0的。

Spark支持两种模式，一种是在spark里面直接写sql，可以通过sql来查询对象，类似.net的LINQ一样，另外一种支持hive的HQL。不管是哪种方式，下面提到的步骤都会有，不同的是具体的执行过程。下面就说一下这个过程。

Sql解析成LogicPlan

使用Idea的快捷键Ctrl + Shift + N打开SQLQuerySuite文件，进行调试吧。

复制代码
def sql(sqlText: String): SchemaRDD = {
if (dialect == “sql”) {
new SchemaRDD(this, parseSql(sqlText))
} else {
sys.error(s”Unsupported SQL dialect: $dialect”)
}
}
复制代码
从这里可以看出来，第一步是解析sql，最后把它转换成一个SchemaRDD。点击进入parseSql函数，发现解析Sql的过程在SqlParser这个类里面。
在SqlParser的apply方法里面，我们可以看到else语句里面的这段代码。

  //对input进行解析，符合query的模式的就返回Success
  phrase(que