Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoop yarn 和 spark 集群部署、运行在分布式环境中，程序开发编码在PC上，由于逐渐增多scala编写spark2.0程序，入乡随俗使用sbt和IntelliJ Idea，顺便对PC上的Scala + sbt + maven + IntelliJ Idea一些要注意的开发环境配置细节进行记录，侧重于现在网上比较少总结又可能让人有些困扰的部分，目前这方面总结比较完整的文章好像还比较少（也可能是自己看的不够多），有些内容也是google国外和自己摸索的，在此进行记录，一方面方便跟可能有同样需求的程序猿们讨论交流，一方面给做个备忘记录。

整体上主要是以下几个步骤。

1. Java JDK 安装与配置

2. Scala2.11.8 安装与配置

3. maven 安装与配置设置文件

4. sbt 安装与配置sbt-lauch.jar包

5. 集成开发环境IDE IntelliJ Idea 安装与配置插件

6. 通过sbt依赖创建 Spark2.0 项目

1. Java JDK 安装与配置

官网下载对应操作系统的安装包，做好环境变量配置，命令行java 相关命令成功执行，网上很多参考文档，不多叙述。

2. Scala 安装与配置

官网下载对应操作系统的安装包，做好环境变量配置，命令行scala相关命令成功执行，网上很多参考文档，不多叙述。

3. maven 安装与配置设置文件

maven或sbt等开发管理软件的使用，在开发中能够较为系统的生成开发目录结构，管理依赖关系，帮开发人员节省时间，提高效率，当然具体使用与否还是看个人实际开发情况选择，没有maven或sbt等管理软件也可以照样开发。

官网下载对应操作系统的安装包，解压到自己设定的目录，成功执行mvn相关命令。

（1）由于国内连接默认maven仓库，网络状况和速度是个老大难问题，可以在maven目录下conf/settings.xml文件配置修改<mirrors></mirrors>部分，查找并增加国内外的当时仍有效的快速maven仓库镜像，比如阿里云的maven仓库镜像。先备份原有settings.xml文件，再如下修改当前settings.xml。

<mirror> 

    <id>nexus-aliyun</id>

    <name>Nexus aliyun</name>

    <url>http://maven.aliyun.com/nexus/content/groups/public</url> 

    <mirrorOf>central</mirrorOf> 

</mirror>

（2）本地下载保存依赖的目录路径，默认是.m2下面（Linux用户家目录里面，Windows C盘用户目录里面），可以改为其他指定目录，修改conf/settings.xml文件，<localRepository>修改为指定路径</localRepository>，以防在用户目录下被误删或受到其他影响。

（3）这时候没有安装IDE，可以通过mvn命令生成maven项目，修改pom.xml，管理项目依赖包，进行代码编写，编辑器自选。

4. sbt 安装与配置sbt-lauch.jar包

为了进行