《IDEA创建Spark工程并submit执行》

  1、创建时在Scala中选择IDEA项目
        
  2、设置JAVA JDK 和Scala的JDK，其中Project SDK需要通过“New…”设置为JDK的路径；Scala SDK需要通过“Create…”设置为Scala的路径，同时命名项目
        
  3、在弹出的窗口中单击“Modules”命令，在对应的右侧窗口中，选中“src”文件夹并单击右键，选择“New Folder…”命令，创建“main”文件夹，如下图。同样的步骤，再选中“main”，在其中分别创建“java”、“resources”、"scala"文件夹，然后通过“Mark as”设置文件夹属性，目录结构如下图。
      
  4、在项目目录下添加pom.xml文件
         
  pom.xml文件中的内容为：很多暂时没用到的依赖也先放进来了，根据自己版本和需要更改

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>zjut</groupId>
    <artifactId>NeutralNet</artifactId>
    <version>1.0</version>
    <inceptionYear>2008</inceptionYear>
    <properties>
        <scala.version>2.11.8</scala.version>
        <kafka.version>0.9.0.0</kafka.version>
        <spark.version>2.2.0</spark.version>
        <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
        <hbase.version>1.2.0-cdh5.7.0</hbase.version>
    </properties>

    <!--添加cloudera的repository-->
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
        </repository>
    </repositories>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${
   scala.version}</version>
        </dependency>

        <!-- Kafka 依赖-->
        <!--
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>${
   kafka.version}</version>
        </dependency>
        -->

        <!-- Hadoop 依赖-->