1.先安装好java sdk,配置好java环境变量
2.安装spark scala
可以直接brew安装,也可下载安装
$ brew update
$ brew info apache-spark
$ brew install apache-spark
$ brew install scala
$ brew install sbt
scala下载地址http://www.scala-lang.org/download/
3.安装intellij idea
下载地址http://www.jetbrains.com/idea/download;社区版community免费,个人的话就下载这个
安装好之后打开idea,安装scala插件和sbt插件;preferences--》plugins--》browse repositories
搜索scala后点击install安装
4.建立工程
(1)file-->new project 选择scala sbt
点击File-Project Structure-Libraries,点击+号-scala SDK,添加scala sdk
编辑build.sbt文件,添加Spark依赖,编译的时候缺少的库可以在这里添加
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
Scala版本对应的可在Spark官网查询;下载较慢,最好有翻墙。有时下载中断再触发,需要使用sbt命令package
(2)使用maven创建工程
默认创建的是java工程,那么要将src下的java目录改为scala目录名,并且在工程setting里面将scala目录改为src目录。
然后就是修改pom xml文件了,
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion