(1)下载安装intelij IDEA.要community那种的.
(2)安装完成后,打开首页,会提示有选择各种不同的插件,为避免麻烦,先默认都选吧(个人按需选择),其中 scala 和sbt 是必须要选择安装的.
(3)新建scala项目,如图:
(4)生成scala项目后,编辑项目根目录下build.sbt:
name := "SBTTest"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
刷新:
(5)等待sbt下载所需的jar包....大概10分钟
(6)在src目录下新建一个scala文件,比如WordCount.scala
(7)运行程序,run,看下面日志输出..
(8)window平台跟Linux 平台文件系统不一样,因此, scala程序的输入文件路径有区别,比如在linux平台,
val inputFile = "file:///testdata/user_action.txt"
在window平台:
val inputFile = "/G:/testdata/user_action.txt"
这个需要注意一下.
window运行成功一般有如下日志:
(9)在linux平台,先改一下输入路径,然后打包陈jar,传到linux运行.前提是spark环境先安装好.