spark
文章平均质量分 58
lzy2014
这个作者很懒,什么都没留下…
展开
-
Spark源码学习笔记1-SparkContext
SparkContext构造函数做了哪些重要的事情?原创 2017-04-29 00:09:02 · 724 阅读 · 0 评论 -
Spark源码学习笔记2-JobProgressListener
继1-SparkContext之后,首先了解下JobProgressListener原创 2017-04-30 10:28:08 · 890 阅读 · 0 评论 -
Spark源码学习笔记3-LiveListenerBus
继2-JobProgressListener之后,我们再来看看SparkContext构造函数中的listenerBus: LiveListenerBus原创 2017-04-30 17:37:33 · 2949 阅读 · 0 评论 -
Spark源码学习笔记4-SparkEnv
继3-LiveListenerBus之后,我们来看看SparkContext构造函数中初始化的SparkEnv原创 2017-04-30 23:58:14 · 2220 阅读 · 0 评论 -
Spark源码学习笔记6-RpcEnv(Rpc实现层)
继5-RpcEnv(Rpc抽象层) 之后,我们再来了解下Rpc框架下的实现层。原创 2017-05-07 23:37:52 · 2918 阅读 · 0 评论 -
Spark源码学习笔记5-RpcEnv(Rpc抽象层)
继4-SparkEnv 之后,我们再来详细研究下SparkEnv中出现的一个核心RpcEnv。原创 2017-05-07 18:12:16 · 1088 阅读 · 0 评论 -
Spark源码学习笔记7-HeartbeatReceiver
我们继续了解SparkContext中的_heartbeatReceiver原创 2017-05-14 23:21:44 · 3159 阅读 · 0 评论 -
Spark源码学习笔记8-TaskScheduler
SparkContext中调用伴生对象的方法来创建TaskScheduler对象原创 2017-05-17 23:40:21 · 565 阅读 · 0 评论 -
Spark源码学习笔记(随笔)-groupByKey()是宽依赖吗
最近从源码角度温习之前学的Spark的基础,在RDD的Dependency这一节中,关于一些Transition操作是Narrow Dependency还是Shuffle Dependency。对于map/filter等操作我们能很清晰的知道它是窄依赖,对于一些复杂的或者不是那么明确的转换操作就不太能区分是什么依赖,如groupByKey()。较多博客直接说这个转换操作是宽依赖,真的是宽依赖吗?我们原创 2017-06-07 13:08:40 · 1818 阅读 · 1 评论