编译flink1.11.1+hdp 3.1.1.3.1.0.0-78

编译flink1.11.1+hdp 3.1.1.3.1.0.0-78

目录

编译环境介绍

flink-shaded编译（有异议）

编译flink 1.11.1

测试启动运行

本地启动

flink on yarn提交jar

编译过程中问题：

1、官方推荐HADOOP_CLASSPATH配置未采用

2、mvn指令使用问题

3、其他问题

阴间jar下载推荐网站

---

编译环境介绍

环境背景：基于Ambari 2.7.3 + HDP 3.1.1.3.1.0.0-78进行flink 1.11.1的编译

flink 1.11相比之前的flink 1.10版本编译上有些许的区别，flink 1.10需要的flink-shaded版本为9.0，而flink 1.11需要的版本为11.0，这里在选择编译过程中需要注意

flink 1.10 pom文件中怼flink-shaded版本要求

flink 1.11 pom文件中怼flink-shaded版本要求

flink-shaded编译（有异议）

在进行flink 1.11编译工作之前，需要先进行 flink-shaded的编译工作

首先git clone flink-shaded项目

git clone https://github.com/apache/flink-shaded.git
进入flink-shaded目录切换分支
git checkout release-10.0

这里获取的是 flink-shaded 10.0版本的源码，原因是 flink-shaded 11.0版本的代码中没有我们需要的 flink-shaded-hadoop-2这个目录文件，原因在于 flink官网说明 1.11版本以后 flink-shaded不再提供 hadoop连接支持

拉下 10.0版本代码后，进入，修改pom文件为我们需要的11.0，和对应的hadoop版本

进入 /flink-shaded/flink-shaded-hadoop-2-parent目录下修改pom文件，注明我们所需要指定的本地hadoop版本

进入 /flink-shaded/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2目录下修改pom文件，修改为我们需要进行编译的11.0版本

进入 /flink-shaded/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber目录下修改pom文件，修改为11.0

然后移动到 flink-shaded最外层根目录下，进行编译

mvn clean install -DskipTests -Dcheckstyle.skip=true -Dhadoop.version=3.1.1.3.1.0.0-78

期间可能会有一些阴间 jar包找不到，可以上网手动搜索下载（下载推荐网站可在文章最后阴间jar下载推荐网站条目查看），然后通过 mvn install来添加到 maven仓库中，如下

mvn install:install-file -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.4.6.3.1.0.0-78 -Dpackaging=jar  -Dfile=/opt/download/flink-1.11.1_jar/zookeeper-3.4.6.3.1.0.0-78.jar

编译完