使用 Intellij IDEA + SBT 做 Spark 开发环境[1]

参考文档：
http://danielnee.com/2015/01/setting-up-intellij-for-spark/

创建新 Scala 工程

使用 IDEA 新建 scala 工程

工程目录结构

在项目的根目录，执行

mkdir -p src/main/resources/
mkdir -p src/main/scala/
mkdir -p src/main/java/

mkdir -p src/test/resources/
mkdir -p src/test/scala/
mkdir -p src/test/java/

mkdir project

安装 sbt 的 gen-idea 插件

在项目根目录中的 project 目录下，新建 plugins.sbt。这个文件的内容也可以放到 cat ~/.sbt/0.13/plugins/build.sbt（全局配置）

resolvers += "Sonatype snapshots" at "https://oss.sonatype.org/content/repositories/snapshots/"

addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.7.0-SNAPSHOT")

build.properties

# 约束 sbt 的版本
sbt.version = 0.13.8

新建 build.sbt，相当于 ant 的 build.xml

位于项目根目录

name := "scala-test"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2"

将控制权交给 sbt

在项目的根目录执行

sbt update
# 生成 intellij IDEA 的工程文件
sbt gen-idea

使用 IDEA 打开工程

这种方法已经过，这种方法已经过时，因为它生成的工程文件比较旧，而 Intellij 已经支持创建 sbt 工程

不过这种方法的实现思路是推崇的，因为它不依赖 idea，不依赖具体的开发环境，项目只包含代码，可以将 IDEA 的工程文件通过 gitignore 文件忽略，而新加 jar 依赖后重新执行 sbt gen-idea，比较清晰