- 博客(7)
- 收藏
- 关注
RSS订阅原创 DAGScheduler的原理剖析以及源码解析
原理讲解DAGScheduler的stage划分算法：会从触发的action操作的那个rdd开始往前倒推，首先会为最后一个rdd创建一个stage，然后往前倒推的时候，如果发现对某个rdd是宽依赖，那么就会将宽依赖的那个rdd创建一个新的stage，那个rdd就是对新的stage的最后一个rdd，然后依次类推，继续往前倒推，根据宽窄依赖，进行stage的划分，直到所有的rdd全部遍历完了为之。
2018-01-22 16:42:44
363
原创 SparkContext源码分析
Spark源码是1.6.0版本今天我们来分析一下SparkContext SparkContext主要有三个功能：TaskScheduler task调度器 （主要讲）DAGScheduler stage调度器SparkUI 显示application的运行状态TaskScheduler// Create and start the scheduler val
2018-01-17 17:47:45
209
原创 Spark源码环境搭建
提前安装一些开发工具Scala 2.10.4git 2.8.1maven 3.3.9IntelliJ IDEA 2015.02源代码获取和编译直接从官方的github上拉取代码 $ git clone git@github.com:apache/spark.git$ git checkout v1.6.0$ git checkout -b v160编译源
2018-01-11 11:21:58
239
转载 VC6.0常用快捷键
F1-F12F1 显示帮助,如果光标停在代码的某个字符上,显示MSDN中相应的帮助内容（需要安装MSDN才能使用） F2 书签功能: Ctrl+F2 --在某行设置一个书签(再按一次是取消) F2 --跳到下一个书签位置 Shift+F2 --跳到上一个书签位置 Ctrl+Shift+F2 --删除所有书签 F3 查找: Ctrl+F3 --在文件中查找,如果当前光标在
2013-08-25 09:37:06
364
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人