Spark-Sql源码解析之二 Sqlparser：sql –> unresolved logical plan

最新推荐文章于 2024-08-20 08:53:58 发布

亮亮-AC米兰

最新推荐文章于 2024-08-20 08:53:58 发布

阅读量1.8k

点赞数

本文链接：https://blog.csdn.net/wl044090432/article/details/52183716

版权

本文深入探讨Spark SQL如何将SQL语句转化为UnResolved Logical Plan，详细阐述了从`SELECT`到`GROUP BY`再到`FILTER`的解析过程，并以一个具体的SQL例子说明了生成的UnResolved Logical Plan的结构和顺序。

摘要由CSDN通过智能技术生成

前面章节讲解了Spark-SQL中的核心流程，接下来主要讲解如何将sql语句转化为UnResolved Logical Plan(包含UnresolvedRelation、 UnresolvedFunction、 UnresolvedAttribute)。

protected[sql] def parseSql(sql: String): LogicalPlan = {
  val ret = ddlParser.parse(sql, false)
  ret
}
private[sql] class DDLParser(
    parseQuery: String => LogicalPlan)
  extends AbstractSparkSQLParser with DataTypeParser with Logging {

  def parse(input: String, exceptionOnError: Boolean): LogicalPlan = {
    try {
//先解析看看是不是DDL语句
      parse(input)
    } catch {
      case ddlException: DDLException => throw ddlException
      case _ if !exceptionOnError => parseQuery(input)//进一步解析其它类型的语句，其parseQuery为DDLParser的构造参数
      case x: Throwable => throw x
    }
  }
}
protected[sql] val ddlParser = new DDLParser(sqlParser.parse(_))

//其中fallback= getSQLDialect().parse(_)
protected[sql] val sqlParser = new SparkSQLParser(getSQLDialect().parse(_