本文详细介绍了如何搭建Spark2.0.1、Scala2.11.8和Hadoop2.7的开发环境。首先，下载并解压Spark，配置环境变量；接着，安装Scala并验证安装成功；然后，集成Scala到IDEA中创建项目；再安装Hadoop，并解决winutils.exe相关问题；最后，通过maven创建Spark项目并编写WordCount程序，验证环境配置正确。
注意：spark scala hadoop直接的版本匹配非常重要！
一、Spark2.0.1安装
从https://archive.apache.org/dist/spark/spark-2.0.1/中下载编译好的spark包，选择
因为已经编译好了，直接解压即可。但是注意：解压的路径中不能有空格。比如解压到D盘 ： D:\spark-2.0.1-bin-hadoop2.7
解压完成后，配置环境变量，path路径
然后在cmd中运行spark-shell
会提示没有hadoop环境，接下来会讲hadoop环境的安装！
二、scala 2.11.8 安装
从https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.msi 下载scala
下载完成后，直接安装，安装完成后程序会自动在环境变量里添加path
在cmd中运行scala version 命令：
表示安装成功。
三、IDEA集成scala开发环境
可以参考：http://dblab.xmu.edu.cn/blog/1327/
首先下载IDEA的scala插件，在plugin插件商店安装
此处我已安装好，因为下载慢的原因，也可以直接从https://confluence.jetbrains.com/display/SCA/Scala+Plugin+for+IntelliJ+IDEA 去下载插件包，然后本地安装
安装完成重启IDEA后，创建scala projecr
选择IDEA，适合初学者，点击下一步，选择SDK，没有SDK可选，点击create，就可以看到之前安装好的scala2.11.8
然后新建个 scala object类，因为只有object才有main方法
最低0.47元/天 解锁文章
4197
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
