idea创建父子工程module_学习之大数据项目笔记第四篇【数仓模块-工程搭建篇】...

1 【数仓模块-工程搭建篇】

1.1 工程创建

创建一个父工程；

父工程中引入公共的依赖和插件；

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.doitedu</groupId>
    <artifactId>data_tiger</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>dataware</module>
        <module>userprofile</module>
        <module>recommend</module>
        <module>streamingprocess</module>
        <module>common</module>
    </modules>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.2.0</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.12</version>
        </dependency>

    </dependencies>

    <pluginRepositories>
        <pluginRepository>
            <id>ali-plugin</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </pluginRepository>
    </pluginRepositories>


    <build>
        <plugins>
            <!-- 指定编译java的插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <!-- 指定编译scala的插件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>
</project>

然后在父工程中创建各个子工程；

编写demo代码，测试工程；

项目的码云git地址：

https://gitee.com/hunter_d/doyiee.git​gitee.com

1.2 补充：maven扩展知识

父子工程：

父工程的pom中会包含module定义：

子工程的pom中会有parent定义：

依赖继承：

父工程中引入的依赖，所有子工程都会自动继承

依赖管理：

父工程通过dependencyManagement声明依赖的相关属性（版本），但并不会真正引入依赖；

子工程在引入dependencyManagement所声明的依赖时，不需要指定版本，直接继承dependencyManagement中声明的版本！

属性定义

通过properties标签可以声明自定义属性（属性名、属性值）

在pom中的别的地方就可以用${属性名}来引用属性的值！

传递依赖的排除

如果我们直接引入了依赖A/B/C，都有传递依赖D，而且对D依赖的版本各不相同！就有可能在运行时产生依赖冲突！可以通过排除掉一些传递依赖来避免冲突！

1.3 拉取gitee上的项目

1.3.1 前提

机器上装好了git客户端

idea上的git插件，修改了git程序的本地安装目录

idea上装好了gitee插件，并配置了账号密码

1.3.2 拉取

项目的git地址：

https://gitee.com/hunter_d/doit12_yiee.git​gitee.com

以后，每当服务器上的项目有更新，本地可以通过pull命令来拉取、同步