2016 第2讲 Scala面向对象彻底精通及Spark源码阅读

2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程，

学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。

相比前一讲第二讲的内容更深入了，难度更高了，如果初学者的话课后真需要好好消化，

包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看，加以巩固。

关于第二讲的作业，读懂Spark Context和RDD至少70%代码的源码。

SparkContext 源码阅读

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkContext.scala

RDD 源码阅读

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala

由于时间的关系，自己没有很仔细地阅读，只是看了看快速扫了下这两个类的内容，的确如老师讲的，基本能看懂70%以上的语法。

如果不是作业，或许自己真不会提前看源码。

阅读之后不难发现，源码中的英文解释，其实就是许多书中提到的知识点注意点，今后自己也会好好地细读这些Spark源码的。

这边简单地摘录了些自己的笔记，如下

//它是Spark功能的主要入口点。

//一个SparkContext代表连接到一个Spark集群，

//能在集群上创建 RDDs，累加器，广播变量。

//每个JVM只有是一个可以Active的。建新的之前要stop()活动的SparkContext.

class SparkContext ( config : SparkConf )

// [spark]是一种保护的作用域, stopped 变量在当前spark包内是可见的,在包spark外不可见

private [spark] val stopped : AtomicBoolean = new AtomicBoolean ( false )

……