2017.10最新Spark、IDEA、Scala环境搭建

作者：muhongdi@qq.com

2017版IDEA相对以前版本在细节上有比较大的变化，经过一些尝试，我将使用过程中遇到的一些要点简要记录下来

在这个版本的IDEA中，新建Scala项目的方式如下
1. 新建Project -> Scala -> IDEA （从字面上怎么也看不出是新建Scala项目）

2.由于Spark2.2并没有提供一个独立的可引用的jar包，因此我使用Spark官网推荐的Maven来引入项目

右键点击项目，通过Add Framework Support可以添加Maven支持

之后按照官网推荐的方式编写pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.study.wordcount</groupId>
    <artifactId>WordCount3</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.2.0</version>
        </dependency>
    </dependencies>
</project>

系统会自动引入非常多的关联类库

提示：IDEA有个非常实用的功能，在右下角，可以配置Maven，并可下载jar包关联的源码，非常实用

3.下图所示具有特定颜色的目录，是IDE可识别的目录，在这里右键可以新建Scala Class package等

接下来就可以使用Scala编写Spark程序了