注意:对Scala代码进行打包编译时,可以采用Maven,也可以采用SBT,相对而言,业界更多使用SBT。
(1)安装Scala插件。在File->Setting->Plugins找到插件市场,搜索scala,安装之后重启IDEA
(2)根据如下步骤新建项目Project
JDK设置:最好是本地的惯用的JDK,以免版本不兼容
sbt设置:两者兼容一直不错,可以用最新版本,但建议使用和Spark发布最近一年的sbt版本。
Scala设置:两者之间的兼容性不太好,版本选择必须要和Spark配套,否则运行容易出错。
(3)创建后,点击下面sbt shell查看依赖包下载情况。
第一次执行下载会花很长时间。但是,只要下载安装成功,后续速度就比较快了。之所以第一次运行 sbt速度很慢,是因为这个过程需要到国外网站下载很多的依赖包,而国外网站下载速度很慢,所以需要耗费很长时间。
配置国内镜像源可提高速度。
如果 .sbt 目录不存在,需要使用 mkdir 命令创建。
使用 vim 编辑器创建 repositories 文件,输入以下内容:
[repositories]
local
huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
随后重启IDEA,重新开始下载(配置国内镜像源之后速度提升许多,但有时仍需要长时间)
(4)出现如下显示,说明下载 sbt 安装成功。
注:下载过程中可能出现如下问题:
解决办法:
(5)给Scala加依赖,进入build.sbt文件进行依赖包的导入
如下初始界面是IDEA默认的,只需要在后面添加配置内容。
在后面添加程序所需版本配置,之后刷新重载。
(6)在 src/main/scala 下创建 Scala 文件
(7)点击文件(File)->项目结构(Project Structure)
(8)点击工件(Artifacts)->JAR->来自具有依赖项的模块(From modules with depedencies)
(9)选择Main Class,并按如下步骤进行