单独的应用程序（翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis）

在这次对Spark粗略的讲解过程中，我们还没有讲如何在单独的应用程序中使用Spark。撇开交互式运行来说，我们能在Java，Scala或这Python程序中连接Spark。与在shell中连接Spark相比，唯一的区别是，在程序中，你需要自己初始化SparkContext 。

连接Spark的过程因语言而异。在Java和Scala中，你在你的应用程序的Maven依赖中添加对spark-core 的依赖就可以了。到写这本书的时候，Spark的最新版是1.2.0，它对应的Maven坐标是：

groupId=org.apache.spark

artifactId=spark-core_2.10

version=1.2.0

Maven是流行的针对基于Java（原文：Java-based）语言的包管理工具，它让你能使用公共仓库中的包。你可以通过Maven构建你的项目，也可以通过其它能与Maven仓库对话的工作构建项目，包括Scala的sbt工具和Gradle。流行的集成开发环境（比如eclipse）都允许你直接往项目中添加Maven依赖。

在Python中，你只需要把应用程序写成Python脚本，但是你必须用Spark自带的bin/spark-submit脚本运行它们。bin/spark-submit脚本包含了Python中需要的Spark依赖。脚本为Spark的Python API设置环境变量到函数中。运行你的脚本，像例2-6一样。

例2-6.  运行Python脚本
bin/spark-submit my_script.py

（注意，在Windows中，你必须用反斜线代替正斜线）

初始化SparkContext

一旦你的应用程序连接到Spark，你需要在你的应用程序中导入Spark包并创建一个SparkContext对象。你需要先创建一个SparkConf对象去配置你的应用程序，然后用这个SparkConf对象创建SparkContext对象。例2-7到例2-9展示了各个Spark支持的语言创建SparkContext对象的过程。

例2-7.  在Python中初始化Spark
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster(“local”).setAppName(“My App”)
sc = SparkContext(conf = conf)

例2-8. 在Scala中初始化Spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
val conf = new SparkConf().setMaster(“local”).setAppName(“My App”)
val sc = new SparkContext(conf)

例2-9. 在Java中初始化Spark
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
SparkConf conf = new SparkConf().setMaster(“local”).

这些例子展示了初始化SparkContext对象的简单方法，我们只设置了两个参数：

1.集群URL（在这些例子中是“local”），它告诉Spark如何连接到集群，local是一个特殊的值，它使Spark运行在本地机器的一个线程上，而不会连接到集群。

2.应用程序名字（在这些例子中是“My App”），当你连接到集群上时，这个名字将在集群管理器的UI上标识你的应用程序。

除了这两个参数之外，还存在其它一些参数，可以用它们来配置你的应用程序的执行方式，或者添加传递到集群中去执行的代码，但是，这些在这本书之后的章节中才会讲到。

在你初始化你的SparkContext对象之后，你可以使用我们之前展示的所有方法去创建RDD（例如，从一个文件）或操作这些RDD。

最后，为了关闭Spark，你可以调用你的SparkContext对象上的stop（）方法，或者简单地推出程序（用System.exit(0)或者sys.exit()）。

这次对Spark简单的讲解应该足够让你在你的电脑上运行一个单独的Spark应用程序了。对于更多高级配置，第七章将会讲怎样连接你的程序到集群上，包括打包你的程序让它的代码被自动传送到工作节点上。目前，请参考官方Spark文档Quick Start Guide。

构建单独的应用程序

如果我们没有一个word count例子，这个大数据书籍的介绍章节将是不完整的。在单台机器上，实现统计单词是简单的，但是在分布式框架中，它是一个通常的例子，因为它涉及到从大量工作节点上读取数据和合并数据。我们将看看如果通过sbt和Maven构建和打包一个word  count程序。我们的所有示例都可以一起构建，但是为了说明一个拥有最少量以来的简单构建，在learning-spark-examples/mini-complete-example目录下，我们有一个更小的项目，正如你在例2-10（Java）和2-11（Scala）中看到的。

例2-10. Word count Java程序 —   现在不要担心细节
//  创建一个SparkConf
SparkConf conf = new SparkConf().setAppName(“wordCount”);
JavaSparkContext sc = new JavaSparkContext(conf);
//  加载我们的数据
JavaRDD<String> input = sc.textFile(inputFile);
//  分割行为单词集
JavaRDD<String> words = input.flatMap(
new FlatMapFunction<String, String>() {
public Iterable<String> call(String x) {
return Arrays.asList(x.split(” “));
}});
//   转化为单词：次数对，统计单词
JavaPairRDD<String, Integer> counts = words.mapToPair(
new PairFunction<String, String, Integer>(){
public Tuple2<String, Integer> call(String x){
return new Tuple2(x, 1);
}}).reduceByKey(new Function2<Integer, Integer, Integer>(){
public Integer call(Integer x, Integer y){ return x + y;}});
//  把单词计数保存会文本
counts.saveAsTextFile(outputFile);

例2-11. Word count Scala程序 — 现在不要担心细节

// 创建一个SparkConf
val conf = new SparkConf().setAppName(“wordCount”)
val sc = new SparkContext(conf)
// 加载我们的数据.
val input = sc.textFile(inputFile)
// 分割行为单词集
val words = input.flatMap(line => line.split(” “))
// 转化为单词：次数对，统计单词
val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}
// 把单词计数保存会文本

counts.saveAsTextFile(outputFile)

我们能用sbt（例2-12）或者Maven（例2-13）用非常简单的构建文件构建这些应用程序。我们已经标记Spark Core依赖已经是被提供了的，所以，之后，当我们使用一个assembly JAR的时候，我们不会包含spark-core jar，因为spark-core jar已经在工作节点的类路径下了。

例2-12. sbt构建文件

name := “learning-spark-mini-example”
version := “0.0.1”
scalaVersion := “2.10.4”
// additional libraries
libraryDependencies ++= Seq(
“org.apache.spark” %% “spark-core” % “1.2.0” % “provided”
)

例2-13. Maven构建文件

小提示

spark-core包被标记为provided，以防它跟着我们的应用程序被打包进assembly JAR中。第七章会讲更多相关细节。

一旦我们的构建文件定义好了，我们能很容易地打包我们的应用程序，然后用bin/spark-submit脚本运行它们。spark-submit需要设置一些Spark需要用到的环境变量。在mini-complete-example目录下，我们能构建Java（例2-14）和Scala（例2-15）程序。

例2-14. Scala  构建和运行
sbt clean package
$SPARK_HOME/bin/spark-submit \
—class com.oreilly.learningsparkexamples.mini.scala.WordCount \
./target/…(as above) \
./README.md ./wordcounts

例2-15. Maven 构建和运行
mvn clean && mvn compile && mvn package
$SPARK_HOME/bin/spark-submit \
—class com.oreilly.learningsparkexamples.mini.java.WordCount \
./target/learning-spark-mini-example-0.0.1.jar \
./README.md ./wordcounts

关于连接应用程序到集群的更详细的示例，请参考Spark官方文档Quick Start
Guide。第七章会将打包应用程序的更多细节。