编译flink1.11.1+hdp 3.1.1.3.1.0.0-78
目录
编译环境介绍
环境背景:基于Ambari 2.7.3 + HDP 3.1.1.3.1.0.0-78进行flink 1.11.1的编译
flink 1.11相比之前的flink 1.10版本编译上有些许的区别,flink 1.10需要的flink-shaded版本为9.0,而flink 1.11需要的版本为11.0,这里在选择编译过程中需要注意
flink-shaded编译(有异议)
在进行flink 1.11编译工作之前,需要先进行 flink-shaded的编译工作
首先git clone flink-shaded项目
git clone https://github.com/apache/flink-shaded.git
进入flink-shaded目录切换分支
git checkout release-10.0
这里获取的是 flink-shaded 10.0版本的源码,原因是 flink-shaded 11.0版本的代码中没有我们需要的 flink-shaded-hadoop-2这个目录文件,原因在于 flink官网说明 1.11版本以后 flink-shaded不再提供 hadoop连接支持
拉下 10.0版本代码后,进入,修改pom文件为我们需要的11.0,和对应的hadoop版本
进入 /flink-shaded/flink-shaded-hadoop-2-parent目录下修改pom文件,注明我们所需要指定的本地hadoop版本
进入 /flink-shaded/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2目录下修改pom文件,修改为我们需要进行编译的11.0版本
进入 /flink-shaded/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber目录下修改pom文件,修改为11.0
然后移动到 flink-shaded最外层根目录下,进行编译
mvn clean install -DskipTests -Dcheckstyle.skip=true -Dhadoop.version=3.1.1.3.1.0.0-78
期间可能会有一些阴间 jar包找不到,可以上网手动搜索下载(下载推荐网站可在文章最后阴间jar下载推荐网站条目查看),然后通过 mvn install来添加到 maven仓库中,如下
mvn install:install-file -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.4.6.3.1.0.0-78 -Dpackaging=jar -Dfile=/opt/download/flink-1.11.1_jar/zookeeper-3.4.6.3.1.0.0-78.jar
编译完