用idea在Windows下构建spark2.2.0的环境

首先，本人菜鸡一只，如果有说的不对的地方，还请各位指点指点！如果有什么问题也可以相互交流，给我留言或者私信~

说明下，之前的环境是：

jdk-1.7，scala-2.10.4，spark-1.6.1，开发工具是idea

然后鄙人想测试下最新的spark2.2.0的版本
因此基于之前的环境配置了些新的东西：

这是新的版本

jdk-1.8.0_77，spark-2.2.0，scala-2.11.8

思考：需要做的其实就是在idea中新建一个简单的java的maven项目，然后添加scala的sdk，然后修改pom文件（把spark的相关依赖添加进去）

一、

下载对应的工具：可以自行百度，去各自官网上下载，然后这里我提供个java+scala的包，免安装版的（手动配置环境变量）

scala2.11.8下载点：（下载对应版本）http://www.scala-lang.org/download/2.11.8.html

java的我不用说了吧。

spark就官网下载下就可以了，甚至Windows上运行spark直接都不用下载，直接maven添加pom就可以了，最后会给大家提供一个pom简单的

二、

接下来，最好配置下环境变量，就JAVA_HOME，SCALA_HOME。

三、

随便创建一个java的maven项目，然后添加scala的环境

这样你就能在这个maven项目中写scala代码了。

四、

修改pom文件，这里提供一个简单的给大家

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>spark2.2</groupId>
    <artifactId>spark2.2</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <scala.version>2.11.8</scala.version>
        <scala.binary.version>2.11</scala.binary.version>
        <spark.version>2.2.0</spark.version>
    </properties>
    <repositories>
        <repository>
            <id>nexus-aliyun</id>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </repository>
    </repositories>
    <dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
</dependencies>

<build>
<plugins>
    <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <version>2.3</version>
        <configuration>
            <classifier>dist</classifier>
            <appendAssemblyId>true</appendAssemblyId>
            <descriptorRefs>
                <descriptor>jar-with-dependencies</descriptor>
            </descriptorRefs>
        </configuration>
        <executions>
            <execution>
                <id>make-assembly</id>
                <phase>package</phase>
                <goals>
                    <goal>single</goal>
                </goals>
            </execution>
        </executions>
    </plugin>
</plugins>
</build>
</project>

这只是最简单的core，sql，streaming三个模块，如果要添加其他的，去中央仓库查找，或者去spark的官网上找对应的模块（注意版本）

如果你有读取各种各样类型的数据源的需求，又不知道jar在哪里，

请使用如下的两个网站：

https://spark-packages.org/
https://github.com/databricks/

五、

然后就可以创建一个scala的object来测试了！

（附上官网的案例，或者你可以自己随便写，和1.x的版本的区别就是多了个SparkSession）。

import org.apache.spark.sql.SparkSession

object sparksessionDemo {
  def main(args: Array[String]) {
    val logFile = "data/groupsort.txt" // Should be some file on your system
    val spark = SparkSession.builder.master("local").appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    spark.stop()
  }
  
}

六、在环境调试中遇到的各自各样的报错，在此稍微整理下

1、java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$

这个问题理论上来说应该是jar包有问题，要么是版本不对，要么是jar包没引入，就是说pom里面写的有问题，按照我上面给的模板去修改，应该是可以避免这个错误。

2、Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0

这个问题，其实是java的问题，就是你的scala2.11.8用的其实是jdk1.8的环境编译的，但是你的项目当中的jdk是1.7的结果就会导致这个问题，把这个项目的jdk换成1.8的就可以。

3、Error:scalac: bad option: '-make:transitive'

当版本都确定好了之后，又报了这个错误，很烦！

这个是idea上写scala的关闭idea

解决方法如下：
-1、打开项目所在位置找到.idea这个文件夹，进入

-2、修改scala_compiler.xml文件

-3、删除掉参数行包含-make:transitive

-4、保存后退出编辑并重启idea打开项目

-5、再次运行，解决该问题

以上的东西，差不多就是鄙人这次搭建这个环境所遇到的问题，如果大家在测试的过程中，还有遇到一些奇奇怪怪的问题，欢迎一起探讨！~