- 博客(5)
- 资源 (24)
- 收藏
- 关注
原创 Spark源码--逻辑计划优化之表达式简化
一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat
2017-07-26 19:17:54 1520
原创 Spark源码--RuleExecutor
Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示: 实现如下: 源码如下: /** 优化规则执行器 */ abstract class RuleExecutor[TreeType : TreeNod
2017-07-26 19:14:44 1048
原创 Spark源码--JobListener
Spark-1.6版本JobListener trait:用于监听Job运行结束(成功/失败)事件,声明了taskSucceeded和jobFailed方法package org.apache.spark.scheduler/** * Interface used to listen for job completion or failure events after submitting a j
2017-07-18 14:56:28 773
原创 Spark源码--Stage
Stage是Spark调度执行的物理单元Spark1.6版本Stage源码:package org.apache.spark.schedulerimport scala.collection.mutable.HashSetimport org.apache.spark._ import org.apache.spark.rdd.RDD import org.apache.spark.util.Cal
2017-07-18 12:20:27 626
原创 Spark源码--EventLoop
Spark1.6版本 EventLoop.scala源码如下: package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBoolean import java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control.
2017-07-18 10:26:03 761
hadoop MapReduce介绍
2016-03-04
MinGW-5.1.6.rar
2014-08-03
php+mysql 八大动态网站开发 源代码
2013-07-16
Windows Builder
2012-05-06
北京邮电大学ACM的分析语言
2011-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人