Flink源码编译:加快你的编译速度

1. 去除不必要的操作

mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true

2. 用install替代package

install会把Flink中的module安装到本地仓库,这样依赖当前module的其他组件就无需去远程仓库拉取当前module,节省了时间。

3. 指定hadoop版本和flink.shaded版本

mvn install -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0 

4. 失败继续

遇到某个module编译出问题,修复问题后可以通过-rf从反应堆中出问题的module继续编译,但是切记不要再使用clean命令,因为clean会把你之前编译的字节码删光。

 mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0 -rf :<moduleName>

反应堆:根据module的依赖关系,自动生成的一个需要编译的module的顺序列表,如下:

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] flink-hadoop-fs                                                    [jar]
[INFO] flink-runtime                                                      [jar]
[INFO] flink-scala                                                        [jar]
[INFO] flink-mapr-fs                                                      [jar]
[INFO] flink-filesystems :: flink-fs-hadoop-shaded                        [jar]
[INFO] flink-s3-fs-base                                                   [jar]
...

5. 正确使用mirror和repository

mirror相当于一个代理,转发访问repository的请求。但有以下注意事项

  1. 即使mirror正向代理的镜像仓库有问题,也不会尝试去被代理仓库获取依赖
  2. 阿里maven镜像仓库中没有hortonworks和cloudrea相关内容

最后,附上我的setting.xml内容:

<?xml version="1.0"?>
<settings>
    <localRepository>/Users/djg/env/apache-maven-3.5.4/repository</localRepository>
    <servers>
    </servers>
    <mirrors>
        <mirror>
            <id>nexus-aliyun</id>
            <mirrorOf>central,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>

        <mirror>
            <id>mapr-public</id>
            <mirrorOf>mapr-releases</mirrorOf>
            <name>mapr-releases</name>
            <url>https://maven.aliyun.com/repository/mapr-public</url>
        </mirror>
    </mirrors>


    <profiles>
        <profile>
            <id>dtwave</id>
            <repositories>
                <repository>
                    <id>Hortonworks</id>
                    <name>Hortonworks</name>
                    <url>http://repo.hortonworks.com/content/repositories/releases/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

                <repository>
                    <id>Cloudera</id>
                    <name>Cloudera</name>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

                <repository>
                    <id>Confluent</id>
                    <name>Confluent</name>
                    <url>http://packages.confluent.io/maven/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

            </repositories>
        </profile>

    </profiles>

    <activeProfiles>
        <activeProfile>dtwave</activeProfile>
    </activeProfiles>
</settings>

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值