本文详细介绍了如何在IntelliJ IDEA上准备Spark开发环境，包括安装Java 1.8，下载IntelliJ并配置JDK，获取Spark源代码，安装Scala并配置Scala SDK，以及解决运行Spark示例时遇到的常见错误。通过这些步骤，开发者可以在IntelliJ中成功运行Spark应用。
准备工作：
1. 下载并安装java 1.8（spark依赖）
2. 下载IntelliJ Community版本并安装，配置JDK。在欢迎界面右下角，选择Configure，选Structure for New Projects，在弹出来的对话框里面选择SDKs，找到你的JAVA_HOME，指定好，保存。
3. 下载spark源代码，本博客使用spark 2.3.0
4. 安装scala，切记安装spark源码pom.xml里面指定版本的scala，否则在IntelliJ里面会有问题。spark需要的scala版本写在pom.xml的scala.version里面，本博客依赖的scala版本是2.11.8，一定下载这个版本，解压，在IntelliJ的Global Libraries里面指定scala-sdk。
5. 将Spark源码根目录导入IntelliJ，执行build。这个过程有点长，需要十几分钟。只要版本配对，应该没有错误。
常见错误：
找一个example，比如SparkPi.scala，运行一下。一般会碰到错误：
最低0.47元/天 解锁文章
扫一扫
673
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
