spark利用maven profile不同环境下配置不同的依赖

最新推荐文章于 2022-12-29 18:21:19 发布

张老湿

最新推荐文章于 2022-12-29 18:21:19 发布

阅读量2.5k

点赞数

分类专栏： spark 跳过编译

本文链接：https://blog.csdn.net/qq392039757/article/details/78915215

版权

spark 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

跳过编译

1 篇文章 0 订阅

订阅专栏

因为在日常测试和生产中因为某些问题,需要配置很多不同包的依赖来对应不同的环境,java的maven的profile可以很好地帮我们解决这一问题

以spark 的kafka包为例

这里有两个环境,一个local,一个product.我这里需要将不同的依赖导入

<profiles>
        <profile>
            <!--本地环境-->
            <id>local</id>
            <properties>
                <dev.environment>local</dev.environment>
            </properties>
            <dependencies>
            <!-- 导入不同的依赖-->
                <dependency>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka_2.10</artifactId>
                    <version>0.8.2.1</version>
                    <!--<version>0.10.0.0</version>-->
                </dependency>
                <dependency>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-streaming-kafka_2.10</artifactId>
                    <version>${spark.version}</version>
                </dependency>
            </dependencies>
            <activation>
                <!--默认激活的环境-->
                <activeByDefault>true</activeByDefault>
            </activation>
        </profile>
        <profile>

            <!--生产环境-->
            <id>product</id>
            <properties>
                <dev.environment>product</dev.environment>
            </properties>
            <dependencies>
                <dependency>
                    <groupId>org.apache.spark</groupId>
                    <artifactId>spark-streaming-kafka_2.10</artifactId>
                    <version>${spark.version}</version>
                </dependency>
            </dependencies>
            <build>
                <plugins>
                <!--跳过编译-->
                    <plugin>
                        <groupId>org.apache.maven.plugins</groupId>
                        <artifactId>maven-compiler-plugin</artifactId>
                        <configuration>
                            <source>1.8</source>
                            <target>1.8</target>
                            <skip>true</skip>
                        </configuration>
                    </plugin>
                    <plugin>
                        <groupId>org.apache.maven.plugins</groupId>
                        <artifactId>maven-surefire-plugin</artifactId>
                        <version>2.20</version>
                        <configuration>
                            <includes>
                                <include>**/*Test.java</include>
                            </includes>
                            <skipTests>true</skipTests>
                        </configuration>
                    </plugin>
                </plugins>
            </build>
        </profile>
    </profiles>

我使用的是IDEA,maven view 这里会看到,点击鼠标就能进行环境的切换,也是很方便
这里写图片描述

然后进行maven的编译

[INFO] skip non existing resourceDirectory C:\Users\Administrator\Desktop\bigdata\parselog\src\test\resources
[INFO]
[INFO] — maven-compiler-plugin:3.1:testCompile (default-testCompile) @ parselog —
[INFO] Not compiling test sources
[INFO]
[INFO] — maven-surefire-plugin:2.20:test (default-test) @ parselog —
[INFO] Tests are skipped.