![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 59
chlhyj
这个作者很懒,什么都没留下…
展开
-
Spark源码环境搭建
提前安装一些开发工具 Scala 2.10.4 git 2.8.1 maven 3.3.9 IntelliJ IDEA 2015.02 源代码获取和编译 直接从官方的github上拉取代码 $ git clone git@github.com:apache/spark.git $ git checkout v1.6.0 $ git checkout -b v160 编译源原创 2018-01-11 11:21:58 · 223 阅读 · 0 评论 -
Master原理剖析和源码分析
主备切换机制原理剖析原创 2018-01-22 10:03:01 · 512 阅读 · 0 评论 -
DAGScheduler的原理剖析以及源码解析
原理讲解DAGScheduler的stage划分算法:会从触发的action操作的那个rdd开始往前倒推,首先会为最后一个rdd创建一个stage,然后往前倒推的时候,如果发现对某个rdd是宽依赖,那么就会将宽依赖的那个rdd创建一个新的stage,那个rdd就是对新的stage的最后一个rdd,然后依次类推,继续往前倒推,根据宽窄依赖,进行stage的划分,直到所有的rdd全部遍历完了为之。原创 2018-01-22 16:42:44 · 349 阅读 · 0 评论 -
SparkContext源码分析
Spark源码是1.6.0版本 今天我们来分析一下SparkContext SparkContext主要有三个功能: TaskScheduler task调度器 (主要讲) DAGScheduler stage调度器 SparkUI 显示application的运行状态 TaskScheduler // Create and start the scheduler val原创 2018-01-17 17:47:45 · 202 阅读 · 0 评论