利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一)

本文的目的：利用Intellij Idea在windows搭建spark 开发环境

环境：windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),hadoop2.7.3(HDP)，scala 2.10.5(编译环境), sbt管理依赖

背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit 调用jar包的方式分布式运算，从而提高集群的运算和资源使用能力。

集群模式：本文默认使用的是spark自带的standalone模式。

[由于CSDN博客不支持截图图片大小超过2M，所以这里只有步骤没有截图说明]

步骤：

第一步

下载intellij idea2016.1.1,点击 此处下载Community版本： 安装 Intellij IDEA 

第二步：

在Intellij菜单中选择“Configure”→“Plugins”→“Browse repositories”命令，在弹出的界面中输入“Scala”搜索插件，然后点击相应安装按钮进行安装，重启Intellij使配置生效。

第三步：

点击File, 选择“Create New Project”命令，此时选择左侧列表中的“Scala”选项，为了方便以后的开发工作，选择右侧的“SBT”选项。

[差不多等1个小时后可以看到自动创建的src目录]

然后，邮件src目录，新建scala class, name 为HelloSpark，kind 修改为Object。

第四步：测试程序是否正确

object HelloSpark {
 
def  main(args:Array[String]): Unit ={
 
print("Hello Spark")

}