关闭

[置顶] Hacker Ethic

From -> Hacker:Heroes of the Computer Revolution...
阅读(817) 评论(0)

[置顶] C语言小问题收集

1.char *p="abcdef"和char s[]="abcdef"存储在哪里的问题 http://bbs.csdn.net/topics/280053144 2.深入理解C语言指针的奥秘 http://bbs.csdn.net/topics/100021521 3.数组指针(指向数组的指针)与指针数组(存放指针的数组) http://see.xidian.edu.cn/cpp/html/476.html...
阅读(1296) 评论(0)

[置顶] Unix command-line interface programs and shell builtins

[hide] v t e Unix command-line interface programs and shell builtins   File system cat cd chmod chown chgrp cksum cmp cp dd du df file fsck fuser ln ls mkdir mount mv pa...
阅读(1340) 评论(1)

Spark源码--逻辑计划优化之表达式简化

一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat...
阅读(8) 评论(0)

Spark源码--RuleExecutor

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示: 实现如下: 源码如下:   /** 优化规则执行器 */ abstract class RuleExecutor[TreeType : TreeNod...
阅读(9) 评论(0)

Spark源码--JobListener

Spark-1.6版本JobListener trait:用于监听Job运行结束(成功/失败)事件,声明了taskSucceeded和jobFailed方法package org.apache.spark.scheduler/** * Interface used to listen for job completion or failure events after submitting a j...
阅读(42) 评论(0)

Spark源码--Stage

Stage是Spark调度执行的物理单元Spark1.6版本Stage源码:package org.apache.spark.schedulerimport scala.collection.mutable.HashSetimport org.apache.spark._ import org.apache.spark.rdd.RDD import org.apache.spark.util.Cal...
阅读(45) 评论(0)

Spark源码--EventLoop

Spark1.6版本 EventLoop.scala源码如下: package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBoolean import java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control....
阅读(78) 评论(0)
461条 共93页1 2 3 4 5 ... 下一页 尾页
    友情链接
    个人资料
    • 访问:1703971次
    • 积分:14510
    • 等级:
    • 排名:第783名
    • 原创:332篇
    • 转载:127篇
    • 译文:2篇
    • 评论:386条
    文章分类