Spark本地开发环境配置(windows/Intellij IDEA 篇)

前言

Intellij IDEA是一个蛮不错的IDE，在java/scala领域深得人心。笔者之前使用的是Eclipse那一套开发环境，虽然也不错，但忍不住好奇心的驱使，折腾了一下IDEA，将自己摸索过程总结一下，方便Spark爱好者参考。

1.配置前提

• JDK安装。 请自行前往oracle官方网站下载安装，并在command命令行窗口确认java -version 可以返回版本号，否则的话要去系统环境变量设置位置确认是否java已经被添加到PATH中
• Scala下载安装。移步官网 http://www.scala-lang.org/ 下载并安装即可。同第1步，要在command命令行下确认敲击scala可以进入交互式命令窗口，否则请确认环境变量的配置。
• spark源代码下载。官方网站 http://spark.apache.org/downloads.html 上提供有各种hadoop版本的预编译版spark代码，理论上要根据你在用的hadoop版本来相应选择；
• Intellij IDEA下载。https://www.jetbrains.com/idea/ 上可以下载免费的community版本。
• 如果要在本机上运行则必须配置Hadoop环境变量否则运行不起来

2.配置开始