spark
文章平均质量分 53
d4shman
~
展开
-
Spark源码--EventLoop
Spark1.6版本 EventLoop.scala源码如下: package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBoolean import java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control.原创 2017-07-18 10:26:03 · 761 阅读 · 0 评论 -
Spark源码--RuleExecutor
Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示: 实现如下: 源码如下: /** 优化规则执行器 */ abstract class RuleExecutor[TreeType : TreeNod原创 2017-07-26 19:14:44 · 1048 阅读 · 0 评论 -
Spark源码--逻辑计划优化之表达式简化
一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat原创 2017-07-26 19:17:54 · 1520 阅读 · 0 评论