1. 首先需要注意的
Scala版本要与Spark相应版本对应
比如Spark1.6.0,官网上给出了依赖
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
否则会报错
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
2. 下载Intellij IDEA
下载后只需要注意两点
- 安装scala插件
- 新建工程的时候,选择正确的scala版本,如果如果没有,creat一个