编写Spark应用程序

 使用sbt对Scala独立应用程序进行编译打包

1.在 ./sparkapp/src/main/scala 下建立一个名为 XXXApp.scala 的文件

vim ./sparkapp/src/main/scala/XXXApp.scala

 在.scala文件中写入代码

2.程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。 在~/sparkapp这个目录中新建文件simple.sbt

cd ~/sparkapp
vim simple.sbt

在simple.sbt中添加如下内容，声明该独立应用程序的信息以及与 Spark 的依赖关系：

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"

这一步只需要做一次就可以了，后面再新建应用时不用做！

3.使用sbt编译打包工具对代码文件进行编译打包

cd ~/sparkapp
/usr/local/sbt/sbt package

4.使用spark-submit命令运行程序

/usr/local/spark/bin/spark-submit \
--class "类名" \
~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar \
file:///usr/local/spark/peopleage.txt

只需要改类名，有文件输入需求才加第四行

5.执行以后，就可以得到结果