Spark入门——5 SparkSQL

本文介绍了SparkSQL的引入背景和核心模块Catalyst,详细阐述了SQL引擎的四个步骤:解析、绑定、优化和执行。解析阶段涉及两种语法解析器,而Catalyst能够将解析结果转化为逻辑计划树。接着,绑定阶段添加元数据信息,优化阶段通过规则对逻辑计划进行优化,最后执行阶段生成物理计划并提交给执行引擎。此外,文章还提到了SqlContext和HiveContext的区别以及DSL API的应用示例。
摘要由CSDN通过智能技术生成

        SparkSQL是在Spark1.0版本才加入的,shark已经不会再被投入资源来更新,而SparkSQL利用了Shark中最好的部分(例如:列式存储,等等)。SparkSQL除了致力于覆盖Shark所有功能之外还提供了SQL DSL API和灵活的程序扩展。SparkSQL的内部核心模块是Catalyst。

       SparkSQL的逻辑架构图如下所示:


      

          如上图所示:SQL引擎包含四个步骤:解析(parse),绑定(bind),优化(optimization),执行(excutor)。

         1,解析阶段:

          sparksql有两个语法解析器:基于hive

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值