用SBT编译Spark的WordCount程序

转自：http://www.aboutyun.com/thread-8587-1-1.html

sbt介绍
sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。

编译生成package的时候

sbt package  -Dsbt.ivy.home=/root/.ivy2

sbt项目环境建立
sbt编译需要固定的目录格式，并且需要联网，sbt会将依赖的jar包下载到用户home的.ivy2下面，目录结构如下：

1. |--build.sbt
   
2. |--lib
   
3. |--project
   
4. |--src
   
5. |   |--main
   
6. |   |    |--scala
   
7. |   |--test
   
8. |         |--scala
   
9. |--sbt
   
10. |--target

复制代码

以上建立目录如下：

1. mkdir -p ~/spark_wordcount/lib
   
2. mkdir -p ~/spark_wordcount/project
   
3. mkdir -p ~/spark_wordcount/src/main/scala
   
4. mkdir -p ~/spark_wordcount/src/test/scala
   
5. mkdir -p ~/spark_wordcount/target

复制代码

然后拷贝spark安装目录的sbt目录的 sbt脚本和sbt的jar包

1. cp /path/to/spark/sbt/sbt* ~/spark_wordcount/

复制代码

由于spark的sbt脚本默认查找./sbt目录，修改如下

1. JAR=sbt/sbt-launch-${SBT_VERSION}.jar
   
2. to
   
3. JAR=sbt-launch-${SBT_VERSION}.jar

复制代码

拷贝spark的jar包到，sbt的lib目录

1. cp /path/to/spark/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
   
2. > ~/spark_wordcount/lib/

复制代码

建立build.sbt配置文件,各行需要有一个空行分割

1. name := "WordCount"
   
2. [this is bank line]
   
3. version := "1.0.0"
   
4. [this is bank line]
   
5. scalaVersion := "2.10.3"

复制代码

由于spark的sbt脚本需要到project的build.properties文件找sbt的版本号，我们建立该文件，增加如下内容：

1. sbt.version=0.12.4

复制代码

Spark WordCount程序编写及编译
建立WordCount.scala源文件，假设需要包为spark.example

1. mkdir -p ~/spark_wordcount/src/main/scala/spark/example
   
2. vi -p ~/spark_wordcount/src/main/scala/spark/example/WordCount.scala

复制代码

添加具体的程序代码，并保存

1. package spark.example
   
2. 
   
3. import org.apache.spark._
   
4. import SparkContext._
   
5. 
   
6. object WordCount {
   
7.   def main(args: Array[String]) {
   
8.     //命令行参数个数检查
   
9.     if (args.length == 0) {
   
10.       System.err.println("Usage: spark.example.WordCount <input> <output>")
    
11.       System.exit(1)
    
12.     }
    
13.     //使用hdfs文件系统
    
14.     val hdfsPathRoot = "hdfshost:9000"
    
15.     //实例化spark的上下文环境
    
16.     val spark = new SparkContext(args(0), "WordCount",
    
17.       System.getenv("SPARK_HOME"),SparkContext.jarOfClass(this.getClass))
    
18.     //读取输入文件
    
19.     val inputFile = spark.textFile(hdfsPathRoot + args(1))
    
20.     //执行WordCount计数
    
21.     //读取inputFile执行方法flatMap，将每行通过空格分词
    
22.     //然后将该词输出该词和计数的一个元组，并初始化计数
    
23.     //为 1，然后执行reduceByKey方法，对相同的词计数累
    
24.     //加
    
25.     val countResult = inputFile.flatMap(line => line.split(" "))
    
26.                       .map(word => (word, 1))
    
27.                       .reduceByKey(_ + _)
    
28.     //输出WordCount结果到指定目录
    
29.     countResult.saveAsTextFile(hdfsPathRoot + args(2))
    
30.   }
    
31. }

复制代码

到spark_wordcount目录，执行编译：

1. cd ~/spark_wordcount/
   
2. ./sbt compile

复制代码

打成jar包

1. ./sbt package

复制代码

编译过程，sbt需要上网下载依赖工具包，jna，scala等。编译完成后可以在target/scala-2.10/目录找到打包好的jar

1. [root@bd001 scala-2.10]# pwd
   
2. /usr/local/hadoop/spark_wordcount/target/scala-2.10
   
3. [root@bd001 scala-2.10]# ls
   
4. cache  classes  wordcount_2.10-1.0.0.jar

复制代码

WordCount执行
可以参考Spark分布式运行于hadoop的yarn上的方法，写一个执行脚本

1. #!/usr/bin/env bash
   
2. 
   
3. SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
   
4.     ./bin/spark-class org.apache.spark.deploy.yarn.Client \
   
5.       --jar ~/spark_wordcount/target/scala-2.10/wordcount_2.10-1.0.0.jar \
   
6.       --class  spark.example.WordCount \
   
7.       --args yarn-standalone \
   
8.       --args /testWordCount.txt \
   
9.       --args /resultWordCount \
   
10.       --num-workers 3 \
    
11.       --master-memory 4g \
    
12.       --worker-memory 2g \
    
13.       --worker-cores 2

复制代码

然后，拷贝一个名为testWordCount.txt的文件进hdfs

1. hdfs dfs -copyFromLocal ./testWordCount.txt /testWordCount.txt

复制代码

然后执行脚本，过一会就可以看到结果了