spark
文章平均质量分 53
d4shman
~
展开
-
Spark源码--EventLoop
Spark1.6版本 EventLoop.scala源码如下:package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBooleanimport java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control.原创 2017-07-18 10:26:03 · 763 阅读 · 0 评论 -
Spark源码--RuleExecutor
Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示:实现如下:源码如下: /** 优化规则执行器 */abstract class RuleExecutor[TreeType : TreeNod原创 2017-07-26 19:14:44 · 1050 阅读 · 0 评论 -
Spark源码--逻辑计划优化之表达式简化
一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat原创 2017-07-26 19:17:54 · 1523 阅读 · 0 评论