从上层来看,spark应用都有一个驱动器程序(driver program)来发起集群上的各种并行操作。驱动器程序包含的应用的main函数,并且定义了集群上的分布式数据集,还对这些分布式是数据集应用了相关操作。
驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表计算集群的一个连接。当我们通过shell来运行spark程序时,shell启动时已经自动创建了一个SparkContext对象,是一个叫做sc的变量。
scala> val lines = sc.textFile("README.md")
lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[5] at textFile at <console>:24
scala> lines.count()
res2: Long = 99
scala> lines.fi
filter first
scala> lines.first
res3: String = # Apache Spark
上面是个简单的例子,应用sc来统计spark中自带的README.md的行数。
一旦有了SparkContext,你就可以用它来创建RDD。要执行这些操作驱动器程序一般要管理多个执行器(executor)节点。
重点:spark API 会把基于像filter这样的函数的操作也会在集群上进行并行操作,这样就可以在单一的驱动器程序中编程,并且让代码自动运行在多个节点上。
scala> val pythonLines = lines.filter(line => line.contains("Python"))
pythonLines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[6] at filter at <console>:26
scala> pythonLines.first
res5: String = high-level APIs in Scala, Java, Python, and R, and an optimized engine that