本文介绍了SparkSQL的引入背景和核心模块Catalyst，详细阐述了SQL引擎的四个步骤：解析、绑定、优化和执行。解析阶段涉及两种语法解析器，而Catalyst能够将解析结果转化为逻辑计划树。接着，绑定阶段添加元数据信息，优化阶段通过规则对逻辑计划进行优化，最后执行阶段生成物理计划并提交给执行引擎。此外，文章还提到了SqlContext和HiveContext的区别以及DSL API的应用示例。
SparkSQL是在Spark1.0版本才加入的，shark已经不会再被投入资源来更新，而SparkSQL利用了Shark中最好的部分（例如：列式存储，等等）。SparkSQL除了致力于覆盖Shark所有功能之外还提供了SQL DSL API和灵活的程序扩展。SparkSQL的内部核心模块是Catalyst。
SparkSQL的逻辑架构图如下所示：
如上图所示：SQL引擎包含四个步骤：解析（parse），绑定（bind），优化（optimization），执行（excutor）。
1，解析阶段：
sparksql有两个语法解析器：基于hive
1916
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
