吐血奉献,Spark-Core源码阅读,适合新手,详细请见链接:
http://download.csdn.net/detail/wl044090432/9421721
目录结构为:
一. Spark的部署方式Standalone、YARN、Mesos. 2
二. Standalone部署下的Driver,Master和Work如何启动... 4
2. Rdd的Transformation和action. 43
1. Dependency、Stage和Task的划分... 44
七. BlockManager(分布式缓存的实现)... 83
2.1 Driver接受Excutor指令的过程:...85
2.2 Excutor接受Driver指令的过程:...86
2.3 Excutor和Excutor之间相互接受指令的过程:...87
3.Block的生成过程(Rdd如何遍历其分区数据)...87
2.1.3.1consolidateShuffleFiles=true.104
2.1.3.2consolidateShuffleFiles=false.106
1.Kafka和Spark-Streaming结合的receiver方式,不开启WAL功能...117
1.3 Driver端和Receiver端的交互...134
2. Kafka和Spark-Streaming结合的receiver方式,开启WAL功能...135
3. Kafka和Spark-Streaming结合的direct方式...159