黑猴子的家：Spark 之 简述 Maven

1、pom.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.victor</groupId>
    <artifactId>spark</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!-- 子模块module -->
    <modules>
        <module>wordcount</module>
    </modules>

    <!-- packaging给出了项目的打包类型，即作为项目的发布形式，其类型,在Maven 3中有，jar(默认类型)，war,ejb,ear,rar,par,pom,maven-plugin
    multi-modules
    Maven 3支持Maven项目的多模块（multi-modules）结构。这样的Maven项目也被称为聚合项目，通常由一个父模块和若干个子模块构成。其中，父模块必须以pom打包类型  -->
    <packaging>pom</packaging>

    <!-- 声明一些共有的配置属性，方便管理版本 -->
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <mysql.version>6.0.5</mysql.version>
        <spring.version>4.3.6.RELEASE</spring.version>
        <spring.data.jpa.version>1.11.0.RELEASE</spring.data.jpa.version>
        <log4j.version>1.2.17</log4j.version>
        <quartz.version>2.2.3</quartz.version>
        <slf4j.version>1.7.22</slf4j.version>
        <config.version>1.10</config.version>
        <jackson.version>2.8.6</jackson.version>
        <servlet.version>3.0.1</servlet.version>
        <net.sf.json.version>2.4</net.sf.json.version>
        <activemq.version>5.14.3</activemq.version>
        <spark.version>2.1.1</spark.version>
        <scala.version>2.11.8</scala.version>
        <hadoop.version>2.8.2</hadoop.version>
    </properties>

    <!-- 声明并引入依赖（子项目module同样有） -->
<dependencies>
    <dependency>
       <groupId>org.slf4j</groupId>
       <artifactId>jcl-over-slf4j</artifactId>
       <version>${slf4j.version}</version>
       <!-- 声明的是该包的作用域 编译期存在，打包不存在，本地运行需要注释掉-->
       <!--<scope>provided</scope>-->
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>${slf4j.version}</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>${slf4j.version}</version>
    </dependency>
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>${log4j.version}</version>
    </dependency>
</dependencies>


    <!-- 仅声明（子项目module如果需要,自己引用） -->
    <dependencyManagement>
        <dependencies>
             <dependency>
                 <groupId>org.scala-lang</groupId>
                 <artifactId>scala-library</artifactId>
                 <version>${scala.version}</version>
                 <!-- 声明的是该包的作用域 编译期存在，打包不存在，本地运行需要注释掉-->
                 <scope>provided</scope>
             </dependency>

             <dependency>
                 <groupId>org.apache.spark</groupId>
                 <artifactId>spark-core_2.11</artifactId>
                 <version>${spark.version}</version>
                 <scope>provided</scope>
             </dependency>

        </dependencies>
    </dependencyManagement>

    <!-- 关于打包和构建 -->
    <build>
        <!-- 声明并引入插件 -->
        <plugins>
            <!-- 配置代码的编译JDK版本 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.6.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <!-- 将Scala代码编译成class文件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>

        <!-- 仅声明插件 -->
        <pluginManagement>
            <plugins>
                <!-- 打包插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <version>3.0.0</version>
                    <executions>
                        <execution>
                            <id>make-assembly</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
</project>

尖叫提示：删除maven下载失败的包 ，在……\m2\repository目录下，搜索*.lastUpdated，并删除。

2、maven手动添加不能下载或下载不成功的jar包，例如

window + R -> cmd

C:\Users\Administrator> cd C:\

C:\>mvn install:install-file \
-DgroupId=com.oracle \
-DartifactId=ojdbc14 \
-Dversion=10.2.0.1.0 \
-Dpackaging=jar -Dfile=C:/ojdbc14.jar

3、Maven父子项目

（1）创建maven项目，删除src文件
（2）编辑pom.xml文件，配置<packaging>pom</packaging>
（3）第二层maven父子项目和第一次maven父子项目一样创建，需要注意的是目录需要手动添加