![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
小朋友2D
nobody
展开
-
Spark SQL关于minus的问题记录
今天写了一个曲折的SQL,大概是这样-- 有可能是我给人家写复杂了withorg_year_view as( select distinct org, year from A)select *from Aminus-- find data that cannot be used because of missing data in formula select f....原创 2019-11-29 11:22:16 · 1273 阅读 · 0 评论 -
SQL在Spark的解析过程(一)
文章目录一条SQL在Spark之旅SQL 解析阶段 - SparkSqlParser绑定逻辑计划阶段 - AnalyzerSpark SQL 是 Spark 众多组件中技术最复杂的组件之一,它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持,大大降低了开发人员的学习和使用成本。目前,整个 SQL 、Spark ML、Spark Graph 以及 Structure...转载 2019-07-06 10:58:11 · 1456 阅读 · 0 评论 -
SQL在Spark的解析过程(二)
文章目录优化逻辑计划阶段 - Optimizer谓词下推列裁剪常量替换常量累加生成可执行的物理计划阶段 - SparkPlanner优化逻辑计划阶段 - Optimizer在前文的绑定逻辑计划阶段对 Unresolved LogicalPlan 进行相关 transform 操作得到了 Analyzed Logical Plan,这个 Analyzed Logical Plan 是可以直接转换...转载 2019-07-06 11:22:04 · 782 阅读 · 0 评论 -
SQL在Spark的解析过程(三)
文章目录全阶段代码生成阶段 - WholeStageCodegen为什么需要代码生成表达式代码生成(expression codegen)全阶段代码生成(Whole-stage Code Generation)代码编译SQL 执行全阶段代码生成阶段 - WholeStageCodegen前面我们已经介绍了从逻辑计划生成物理计划(Physical Plan),但是这个物理计划还是不能直接交给 S...转载 2019-07-06 11:35:04 · 829 阅读 · 0 评论