注意:spark scala hadoop直接的版本匹配非常重要!
一、Spark2.0.1安装
从https://archive.apache.org/dist/spark/spark-2.0.1/中下载编译好的spark包,选择
因为已经编译好了,直接解压即可。但是注意:解压的路径中不能有空格。比如解压到D盘 : D:\spark-2.0.1-bin-hadoop2.7
解压完成后,配置环境变量,path路径
然后在cmd中运行spark-shell
会提示没有hadoop环境,接下来会讲hadoop环境的安装!
二、scala 2.11.8 安装
从https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.msi 下载scala
下载完成后,直接安装,安装完成后程序会自动在环境变量里添加path
在cmd中运行scala version 命令:
表示安装成功。
三、IDEA集成scala开发环境
可以参考:http://dblab.xmu.edu.cn/blog/1327/
首先下载IDEA的scala插件,在plugin插件商店安装
此处我已安装好,因为下载慢的原因,也可以直接从https://confluence.jetbrains.com/display/SCA/Scala+Plugin+for+IntelliJ+IDEA 去下载插件包,然后本地安装
安装完成重启IDEA后,创建scala projecr
选择IDEA,适合初学者,点击下一步,选择SDK,没有SDK可选,点击create,就可以看到之前安装好的scala2.11.8
然后新建个 scala object类,因为只有object才有main方法