windows下使用idea maven配置spark运行环境、运行WordCount例子以及碰到的问题

一、安装JAVA JDK 、Maven 、scala

这些安装都比较简单都可以去官网下载最新版本的安装包一一安装就可以了。

scala官网下载地址：http://www.scala-lang.org/download/

二、安装idea scala 插件

setting—>plugins页面点击下面的角Browse repositories… 选项搜素scala点击安装。
这里面不建议在线安装插件，建议根据Updated 2014/12/18去下载离线的scala插件，比如本文中的IDEA Updated日期是2014/12/18然后找到对应的插件版本是1.2.1，下载即可。下面是scala插件的离线下载地址。 scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala
然后根据Update日期去找Intellij IDEA对应得scala插件，不同版本的IDEA对应的scala插件不一样，请务必下载对应的scala插件否则无法识别。
离线插件下载完成后，将离线scala插件通过如下方式加入到IDEA中去：点击Install plugin from disk…,然后找到你scala插件的zip文件的本机磁盘位置，点ok即可

三、Intellij IDEA通过Maven搭建spark环境

• （1）打开IDEA新建一个maven项目。

依次选择file-->new project--->maven 点击create from archetyep，选择scala-archetype—simple插件（有可能版本不对会造成问题，文章后面有解决办法。）

• （2）添加scala sdk。 file-->project structure-->global libaraies选择scala对应版本，千万要对应不然会造成编译代码的通不过。

四、碰到的一些问题的解决

1.编译时idea报错：Error:scalac: error while loading JUnit4, Scala signature

Error:scalac: error while loading JUnit4, Scala signature
JUnit4 has wrong version
expected: 5.0
found: 4.1 in JUnit4.class

这个错误是由于我是直接用的maven提供的模版，而没有注意Archetype中的版本问题。各版本一定要注意对应，解决方法是点击Add Archetype， 添加新的scala-archetype-simple，填写GAV， groupID:net.alchim31.maven ArtifactID:scala-archetype-simple Version:1.4 如果还有问题，去maven仓库找合适的版本http://mvnrepository.com

2.scala报错：scala error:bad option ‘-make:transitive

scala报错：scala error:bad option ‘-make:transitive

scala版本问题，scala2.11不支持make参数，将pom.xml中的这个参数去掉即可解决

<configuration>
    <args>
        <!--arg>-make:transitive</arg-->
        <arg>-dependencyfile