wusuopuBUPT的专栏

https://github.com/wusuopubupt

Spark源码--逻辑计划优化之表达式简化

一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)...

2017-07-26 19:17:54

阅读数:641

评论数:0

Spark源码--RuleExecutor

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示: 实现如下: 源码如下:   /** 优化规则执行器 */ abstract class Rule...

2017-07-26 19:14:44

阅读数:372

评论数:0

Spark源码--EventLoop

Spark1.6版本 EventLoop.scala源码如下: package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBoolean import java.util.concurrent.{BlockingQ...

2017-07-18 10:26:03

阅读数:386

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭