Start a long-running Flink cluster on YARN遇到的问题总结

Session-Cluster模式需要先启动集群，然后再提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager；共享资源；适合规模小执行时间短的作业。

先启动Hadoop和Yarn这个就不说了哟…

xxxx/app/hadoop-2.6.0-cdh5.15.1/sbin/start-all.sh  全部启动hdfs和yarn
jps可以查看的

然后去Flink根目录下面执行

./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m

参数什么意思大家一看就知道啦，我不多说
-n,–container Number of YARN container to allocate (=Number of Task Managers)
-jm,–jobManagerMemory Memory for JobManager Container with optional unit (default: MB)
-tm,–taskManagerMemory Memory per TaskManager Container with optional unit (default: MB)

问题来了，执行时候有问题：

ClassNotFoundException: org.apache.hadoop.yarn.exceptions.

我的解决方法是找到下面两个jar包，放到flink的lib下面去:

flink-shaded-hadoop-2-2.6.0-cdh5.15.1-7.0.jar
flink-shaded-hadoop-2-uber-2.6.0-cdh5.15.1-7.0.jar

重新执行：./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m
但是很不幸又有另外一个问题：

org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder

这个时候呢，再去找一个jar包：

commons-cli-1.4.jar

最后再执行./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m没问题了，开心！

如果你问我到哪去找到的这些jar包的话，因为我maven源码编译Flink时候已经下载好了，在我服务器的中央仓库里面。我的Flink是1.9.0版本的，hadoop是2-2.6.0-cdh5.15.1版本的，如果你们版本跟我一样可以留言，我发给你！谢谢观看！