![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 59
chlhyj
这个作者很懒,什么都没留下…
展开
-
Spark源码环境搭建
提前安装一些开发工具Scala 2.10.4git 2.8.1maven 3.3.9IntelliJ IDEA 2015.02源代码获取和编译直接从官方的github上拉取代码 $ git clone git@github.com:apache/spark.git$ git checkout v1.6.0$ git checkout -b v160编译源原创 2018-01-11 11:21:58 · 226 阅读 · 0 评论 -
Master原理剖析和源码分析
主备切换机制原理剖析原创 2018-01-22 10:03:01 · 520 阅读 · 0 评论 -
DAGScheduler的原理剖析以及源码解析
原理讲解DAGScheduler的stage划分算法:会从触发的action操作的那个rdd开始往前倒推,首先会为最后一个rdd创建一个stage,然后往前倒推的时候,如果发现对某个rdd是宽依赖,那么就会将宽依赖的那个rdd创建一个新的stage,那个rdd就是对新的stage的最后一个rdd,然后依次类推,继续往前倒推,根据宽窄依赖,进行stage的划分,直到所有的rdd全部遍历完了为之。原创 2018-01-22 16:42:44 · 359 阅读 · 0 评论 -
TaskScheduler源码解析
TaskScheduler源码解析原创 2018-01-23 11:02:18 · 287 阅读 · 0 评论 -
Spark wordcount 代码分析
Spark WordCount 源码解析原创 2018-01-16 18:35:14 · 943 阅读 · 0 评论 -
SparkContext源码分析
Spark源码是1.6.0版本今天我们来分析一下SparkContext SparkContext主要有三个功能:TaskScheduler task调度器 (主要讲)DAGScheduler stage调度器SparkUI 显示application的运行状态TaskScheduler// Create and start the scheduler val原创 2018-01-17 17:47:45 · 206 阅读 · 0 评论