Flink1.9.1源码编译支持hadoop-2.6.0-cdh5.16.2

准备

    jdk-8u211-linux-x64.tar.gz

    flink-1.9.1-src.tgz

    flink-shaded-7.0-src.tgz

    apache-maven-3.6.1-bin.tar.gz

注：根据官方文档显示flink-1.9.1编译需要Java8、Maven3

 

配置环境

    解压jdk，并配置Java环境变量

    解压Maven，配置Maven环境变量   

 

编译准备

解压 flink-shaded-7.0

tar -zxvf flink-shaded-7.0-src.tgz
cd flink-shaded-7.0

在 flink-shaded-7.0 根目录的pom.xml文件中添加 cloudera 的maven库

<!--添加CDH的仓库-->
<repositories>
<repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories>

在 flink-shaded-7.0/flink-shaded-hadoop-2-uber/pom.xml 中的 dependencyManagement 标签中添加如下依赖

<dependency>
	<groupId>commons-cli</groupId>
	<artifactId>commons-cli</artifactId>
	<version>1.3.1</version>
</dependency>

注意：这一步一定要添加，不然编译成功后，启动不了，并 .out 文件中抛出如下错误：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;

原因是项目打包后，依赖的 commons-cli 是1.2版本的，build 方法在该版本中不存在

编译并安装到本地仓库

mvn clean install -Dhadoop.version=2.6.0-cdh5.16.2

Flink编译

# 解压并进入项目根目录
tar -zxvf flink-1.9.1-src.tgz
cd flink-1.9.1

# 编译flink
mvn clean package -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.16.2 -Dscala-2.12 -Pinclude-hadoop

# -Pinclude-hadoop  将 hadoop的 jar包，打入到lib/中
# -Pvendor-repos   # 使用cdh、hdp 的hadoop 需要添加该参数
# -Dscala-2.12     # 指定scala的版本为2.12
# -Dhadoop.version=2.6.0-cdh5.16.2  指定 hadoop 的版本

# 等待编译完成 编译完成后在 flink-dist/target/ 下有一个 flink-1.9.1-bin 的文件夹，里面就是编译完成后的应用程序了