用Scala语言编写Spark独立应用程序WordCount

编程实现WordCount计算
在终端中执行如下命令创建一个文件夹sparkapp1作为应用程序根目录

cd ~                    # 进入用户主文件夹
mkdir ./sparkapp1        # 创建应用程序根目录
mkdir -p ./sparkapp1/src/main/scala     # 创建所需的文件夹结构

在/sparkapp1目录下创建一个文本文件word.txt，其内容如下

使用vim编辑器在/sparkapp1/src/main/scala目录下建立一个名为WordCount.scala 的Scala代码文件。

vim ./sparkapp1/src/main/scala/WordCount.scala

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object WordCount {
    def main(args: Array[String]) {
        val inputFile =  "file:///home/hadoop/sparkapp1/word.txt"
        val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
        val sc = new SparkContext(conf)
                val textFile = sc.textFile(inputFile)
                val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
                wordCount.foreach(println)       
    }
}

用sbt打包Scala应用程序
应用程序依赖于Spark API，因此，需要通过sbt进行编译打包。使用vim编辑器在/sparkapp1目录下新建文件wordcount.sbt

vim ./sparkapp1/wordcount.sbt

wordcount.sbt文件用于声明该独立应用程序的信息以及与Spark的依赖关系，输入以下内容：

name := "WordCount Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"

为了保证sbt能正常运行，先执行如下命令检查整个应用程序的文件结构

cd ~/sparkapp1
find

文件结构如下所示

通过如下代码将整个应用程序打包成JAR

/usr/local/sbt/sbt package

生成的JAR包的位置为/home/hadoop/sparkapp1/target/scala-2.11/wordcount-project_2.11-1.0.jar
通过spark-submit运行程序

/usr/local/spark/bin/spark-submit --class "WordCount" ~/sparkapp1/target/scala-2.11/wordcount-project_2.11-1.0.jar

成功运行，好了，以上就是本次操作的全部内容，有哪里不对的地方可以指出来哦