用SBT编译Spark的WordCount程序

转载 2015年11月19日 11:15:24

转自:http://www.aboutyun.com/thread-8587-1-1.html

sbt介绍
sbt是一个代码编译工具,是scala界的mvn,可以编译scala,java等,需要java1.6以上。

编译生成package的时候

sbt package  -Dsbt.ivy.home=/root/.ivy2


sbt项目环境建立
sbt编译需要固定的目录格式,并且需要联网,sbt会将依赖的jar包下载到用户home的.ivy2下面,目录结构如下:

  1. |--build.sbt
  2. |--lib
  3. |--project
  4. |--src
  5. |   |--main
  6. |   |    |--scala
  7. |   |--test
  8. |         |--scala
  9. |--sbt
  10. |--target
复制代码
以上建立目录如下:
  1. mkdir -p ~/spark_wordcount/lib
  2. mkdir -p ~/spark_wordcount/project
  3. mkdir -p ~/spark_wordcount/src/main/scala
  4. mkdir -p ~/spark_wordcount/src/test/scala
  5. mkdir -p ~/spark_wordcount/target
复制代码

然后拷贝spark安装目录的sbt目录的 sbt脚本和sbt的jar包

  1. cp /path/to/spark/sbt/sbt* ~/spark_wordcount/
复制代码

由于spark的sbt脚本默认查找./sbt目录,修改如下

  1. JAR=sbt/sbt-launch-${SBT_VERSION}.jar
  2. to
  3. JAR=sbt-launch-${SBT_VERSION}.jar
复制代码

拷贝spark的jar包到,sbt的lib目录
  1. cp /path/to/spark/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
  2. > ~/spark_wordcount/lib/
复制代码

建立build.sbt配置文件,各行需要有一个空行分割
  1. name := "WordCount"
  2. [this is bank line]
  3. version := "1.0.0"
  4. [this is bank line]
  5. scalaVersion := "2.10.3"
复制代码


由于spark的sbt脚本需要到project的build.properties文件找sbt的版本号,我们建立该文件,增加如下内容:
  1. sbt.version=0.12.4
复制代码


Spark WordCount程序编写及编译
建立WordCount.scala源文件,假设需要包为spark.example
  1. mkdir -p ~/spark_wordcount/src/main/scala/spark/example
  2. vi -p ~/spark_wordcount/src/main/scala/spark/example/WordCount.scala
复制代码

添加具体的程序代码,并保存
  1. package spark.example

  2. import org.apache.spark._
  3. import SparkContext._

  4. object WordCount {
  5.   def main(args: Array[String]) {
  6.     //命令行参数个数检查
  7.     if (args.length == 0) {
  8.       System.err.println("Usage: spark.example.WordCount <input> <output>")
  9.       System.exit(1)
  10.     }
  11.     //使用hdfs文件系统
  12.     val hdfsPathRoot = "hdfshost:9000"
  13.     //实例化spark的上下文环境
  14.     val spark = new SparkContext(args(0), "WordCount",
  15.       System.getenv("SPARK_HOME"),SparkContext.jarOfClass(this.getClass))
  16.     //读取输入文件
  17.     val inputFile = spark.textFile(hdfsPathRoot + args(1))
  18.     //执行WordCount计数
  19.     //读取inputFile执行方法flatMap,将每行通过空格分词
  20.     //然后将该词输出该词和计数的一个元组,并初始化计数
  21.     //为 1,然后执行reduceByKey方法,对相同的词计数累
  22.     //加
  23.     val countResult = inputFile.flatMap(line => line.split(" "))
  24.                       .map(word => (word, 1))
  25.                       .reduceByKey(_ + _)
  26.     //输出WordCount结果到指定目录
  27.     countResult.saveAsTextFile(hdfsPathRoot + args(2))
  28.   }
  29. }
复制代码

到spark_wordcount目录,执行编译:
  1. cd ~/spark_wordcount/
  2. ./sbt compile
复制代码

打成jar包
  1. ./sbt package
复制代码

编译过程,sbt需要上网下载依赖工具包,jna,scala等。编译完成后可以在target/scala-2.10/目录找到打包好的jar
  1. [root@bd001 scala-2.10]# pwd
  2. /usr/local/hadoop/spark_wordcount/target/scala-2.10
  3. [root@bd001 scala-2.10]# ls
  4. cache  classes  wordcount_2.10-1.0.0.jar
复制代码


WordCount执行
可以参考Spark分布式运行于hadoop的yarn上的方法,写一个执行脚本
  1. #!/usr/bin/env bash

  2. SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
  3.     ./bin/spark-class org.apache.spark.deploy.yarn.Client \
  4.       --jar ~/spark_wordcount/target/scala-2.10/wordcount_2.10-1.0.0.jar \
  5.       --class  spark.example.WordCount \
  6.       --args yarn-standalone \
  7.       --args /testWordCount.txt \
  8.       --args /resultWordCount \
  9.       --num-workers 3 \
  10.       --master-memory 4g \
  11.       --worker-memory 2g \
  12.       --worker-cores 2
复制代码

然后,拷贝一个名为testWordCount.txt的文件进hdfs
  1. hdfs dfs -copyFromLocal ./testWordCount.txt /testWordCount.txt
复制代码



然后执行脚本,过一会就可以看到结果了


IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)

spark集群运行,wordcount示例
  • feloxx
  • feloxx
  • 2016年07月31日 16:51
  • 4192

Idea中编写并运行Spark集群(WordCount)

在Idea中编写Spark的集群代码WordCount,其中包括如何打包、如何运行、配置等
  • u012587561
  • u012587561
  • 2016年08月10日 00:16
  • 3453

sbt的安装以及用sbt编译打包scala编写的spark程序

众所周知,spark可以使用三种语言进行编写,分别是scala,phython,java三种语言,而且执行方式不同,Scala是用sbt编译打包,Java是用Maven进行编译打包,而phython则...
  • a532672728
  • a532672728
  • 2017年05月18日 17:29
  • 3388

用sbt构建Spark项目——WordCount

一、环境配置 1、sbt:http://www.scala-sbt.org/download.html    选择windows的SBT-0.13.12.MSI即可,然后安装 2、在系统环境中path...
  • u010925958
  • u010925958
  • 2016年09月29日 11:07
  • 750

java实现的spark的wordcount单词技术程序

  • 2017年12月06日 15:39
  • 2KB
  • 下载

在standalone-cluster模式上运行spark应用程序(用sbt打包)

在同一台机器上启动一个master和一个slave,启动master使用.
  • u014373825
  • u014373825
  • 2014年04月14日 15:38
  • 1366

使用Intellij Idea编写Spark应用程序(Scala+SBT)

对Scala代码进行打包编译时,可以采用Maven,也可以采用SBT,相对而言,业界更多使用SBT。之前有篇博客我们介绍了使用Intellij Idea编写Spark应用程序(Scala+Maven)...
  • zzg_1990
  • zzg_1990
  • 2017年12月14日 16:11
  • 61

Spark1.0.1sbt打包运行自己程序及问题解决

1.安装sbt并加入环境变量
  • u011569805
  • u011569805
  • 2014年07月22日 12:53
  • 651

使用idea sbt运行spark程序

1.新建scala-sbt 项目 2.待sbt及相关依赖下载完成后,配置spark依赖 spark 2.0.0后,目录下没有lib文件夹,也找不到assembly jar包,实际上该jar已经分拆成了...
  • ronaldo4511
  • ronaldo4511
  • 2016年11月04日 16:18
  • 3535

Flume+kafka+spark streaming+scala(sbt编译) 例子演示

Flume+kafka+spark streaming+scala(sbt编译) 例子演示 原创。
  • ldds_520
  • ldds_520
  • 2016年05月18日 14:20
  • 1978
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用SBT编译Spark的WordCount程序
举报原因:
原因补充:

(最多只允许输入30个字)