Spark核心概念

从上层来看，spark应用都有一个驱动器程序（driver program）来发起集群上的各种并行操作。驱动器程序包含的应用的main函数，并且定义了集群上的分布式数据集，还对这些分布式是数据集应用了相关操作。
驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表计算集群的一个连接。当我们通过shell来运行spark程序时，shell启动时已经自动创建了一个SparkContext对象，是一个叫做sc的变量。

scala> val lines = sc.textFile("README.md")
lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[5] at textFile at <console>:24

scala> lines.count()
res2: Long = 99

scala> lines.fi
filter   first

scala> lines.first
res3: String = # Apache Spark

上面是个简单的例子，应用sc来统计spark中自带的README.md的行数。

一旦有了SparkContext，你就可以用它来创建RDD。要执行这些操作驱动器程序一般要管理多个执行器（executor）节点。

重点：spark API 会把基于像filter这样的函数的操作也会在集群上进行并行操作，这样就可以在单一的驱动器程序中编程，并且让代码自动运行在多个节点上。

scala> val pythonLines = lines.filter(line => line.contains("Python"))
pythonLines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[6] at filter at <console>:26

scala> pythonLines.first
res5: String = high-level APIs in Scala, Java, Python, and R, and an optimized engine that