本文介绍了Flink 1.11及以上版本在编译时不再包含Hadoop组件的背景，官方推荐的环境变量配置方法，以及在本地无Hadoop环境时的解决策略。通过切换到Flink release-1.10分支并打包，避免依赖冲突，确保任务能成功提交到Yarn。强调了从tag而非branch拉取Flink版本以防止版本不匹配导致的问题。
1. 背景
从flink1.11开始，flink项目打包时不再强制依赖hadoop-common、hadoop-hdfs、hadoop-yarn-client等组件，虽然flink-hadoop-fs有依赖hdoop组件，如下：
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<optional>true</optional>
</dependency>
但由于<optional>true</optional>配置，导致flink-dist并不会将hadoop组件其打入其中。
另外，虽然flink-yarn中也依赖hadoop相关组件：
<dependency>
<groupId>
最低0.47元/天 解锁文章
扫一扫
713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
