01 - Flink源码编译

本文以目前最新的Flink release分支release-1.14讲解源码的编译。

1. 环境准备

源码编译前需要事先准备3个工具: git，maven，JDK。
可以通过以下指令可以查看是否安装成功：
（1）查看git安装

git --version

如果显示git信息则说明git安装成功：

（2）查看maven安装

mvn --version

ps：maven版本需要3.0以上
（3）查看jdk安装

java -version

ps：JDK需要1.8或者1.8以上

2. 下载Flink源码

git clone https://github.com/apache/flink.git

切换到release-1.14分支

git checkout release-1.14

3. 编译源码

（1）maven配置
编译Flink源码时需要下载很多依赖，建议直接按如下配置修改maven的settings.xml文件：

<?xml version="1.0"?>
<settings>
    <localRepository>/Users/flink/.m2/repository</localRepository>
    <servers>
    </servers>
    <mirrors>
        <mirror>
            <id>nexus-aliyun</id>
            <mirrorOf>central,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>

        <mirror>
            <id>mapr-public</id>
            <mirrorOf>mapr-releases</mirrorOf>
            <name>mapr-releases</name>
            <url>https://maven.aliyun.com/repository/mapr-public</url>
        </mirror>
    </mirrors>

    <profiles>
        <profile>
            <id>bdflink</id>
            <repositories>
                <repository>
                    <id>Hortonworks</id>
                    <name>Hortonworks</name>
                    <url>http://repo.hortonworks.com/content/repositories/releases/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

                <repository>
                    <id>Cloudera</id>
                    <name>Cloudera</name>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

                <repository>
                    <id>Confluent</id>
                    <name>Confluent</name>
                    <url>http://packages.confluent.io/maven/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>

            </repositories>
        </profile>

    </profiles>

    <activeProfiles>
        <activeProfile>bdflink</activeProfile>
    </activeProfiles>
</settings>

（2）源码编译
推荐使用以下指令进行源码编译：

mvn clean install -DskipTests -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true spotless:apply

（1）如果编译到中间编译失败，在第二次编译时可去掉"clean"，这样编译过的模块就不会再从头开始编译了
（2）用install代替package，因为install会把Flink中的module安装到本地仓库，这样依赖当前module的其他组件就无需去远程仓库拉取当前module了，节省编译时间
（3）注意不要使用“-Dmaven.test.skip=true”，而要使用“-DskipTests”，否则编译会报错，两者的区别为：
-Dmaven.test.skip=true：不执行测试用例，也不编译测试用例类；
-DskipTests：不执行测试用例，但编译测试用例类生成相应的class文件至target/test-classes下
（4）通过“-Dhadoop.version”指令需要关联的Hadoop版本