使用 Scala 编写的程序需要使用 sbt (或者Maven)进行编译打包;Java 程序可以通过eclipse或是Maven编译打包; Python 程序通过 spark-submit 直接提交。
因此,需要下载安装sb以编译scala程序,交由spark运行。
1. 版本选择
sbt版本选择要考虑java版本,需要1.8及以上,对其他没有硬性要求:
官网下载链接(含历史版本):sbt - Download
笔者下载的是sbt-1.6.2.tgz,手动安装。
2. 安装配置sbt
参考教程:
3. 更改sbt对应的scala版本
sbt执行成功,但是发现上图中sbt自己安装了scala2.12,而我们之前的环境适用的是scala2.11。
所以在sbt路径下新建build.sbt文件,输入:
scalaVersion :="2.11.12" # 这里填写我们希望使用的scala版本
再次运行sbt sbtVersion,可以看到更改成scala2.11.12了:
该部分参考:
如何更改sbt项目的Scala版本? Dovov编程网http://www.dovov.com/sbtscala.html
安装完成🐾