顺着之前SBT的HelloWorld案例(具体请参考我的另外一篇博文《基于IntelliJ Idea的Scala开发demo—SBT包管理demo》)
今天给出一个基于Scala的spark开发demo,大致的步骤如下:
- 导入Spark依赖包
- 代码编写
- 代码打包以及运行
导入Spark依赖包
打开项目中的build.sbt文件,添加如下Spark依赖内容:
name := "LzScalaSparkTest"
version := "0.1"
scalaVersion := "2.11.12"
// public version configuration
val sparkVersion = "2.3.4"
// https://mvnrepository.com/artifact/org.apache.spark
// spark dependencies
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVe