spark IDEA应用开发（maven工程及模块）

一、安装配置maven

        ①下载安装包（maven3下载）

        ②新建文件夹解压压缩包（路径最好为全英文）

        解压压缩包，新建文件夹repository

       进入maven/conf修改settings.xml（我使用的pycharm），将原有下载源注释，添加阿里云下载源  

<mirror>
  <id>aliyunmaven</id>
  <mirrorOf>*</mirrorOf>
  <name>阿里云公共仓库</name>
  <url>https://maven.aliyun.com/repository/public</url>
</mirror>

        ③修改IDEA配置

        修改配置

        然后点击应用并重启IDEA

        ④新建项目

        打开设置，若maven为修改后地址则表示修改成功

二、创建和测试spark项目

        ①新建模块

        填写模块名，选择maven模块版本，点击创建

        ②配置模块

                在src目录新建test目录，在创建java，resources和scala目录

        下载Hadoop的core-site.xml，hdfs-site.xml和spark的log4j文件

        然后复制粘贴到test目录的resources目录下

       修改pom.xml文件，添加以下代码

        点击右上角符号刷新

        右击Scala目录新建Scala文件

        输入代码运行，出现结果表示成功

        编写单词统计代码并运行，出现统计结果表示成功