spark学习心得

spark学习，官网阅读完之后，练习官方给出的例子之后，就是阅读源码了，

 

学习spark，了解spark应用后，就是阅读源码了，阅读源码并不难，编译器打开就能知道，而要知道源码设计思路，为什么这么设计，就是一个比较困难的地方了

 

阅读spark源码，其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。

 

1.理解RDD，需要把握RDD的两个核心操作，transformation 和 action

2.理解RDD的jobschedule，一个job又分为多个stage，每个阶段都包含多个RDD，其关系根据生成DAGSchedule进行调度，DAGSchedule包含多个RDD的translate，然后stage又是如何被分配到cluster中的。

 

以上两点是我在阅读源码中有所感触的地方