项目打包
需要将依赖在pom.xml进行编辑,需要使用mvn在pom.xml中所在文件下执行
mvn clean install
完成项目打包,同时将依赖的相关jar打包在内
然后使用flink客户端完成任务提交
flink任务运行
先简单看一下flink job的运行架构图:
在flink框架中,JobManager负责进行协调作业进行扑出,然后进行调度和资源管理。
JobManager高可用配置
默认情况下,每个 Flink 集群都有一个 JobManager 实例。这会产生单点故障(SPOF):如果 JobManager 崩溃,则无法提交新作业且运行中的作业也会失败。
如果我们使用 JobManager 高可用模式,可以避免这个问题。您可以为 standalone 集群和 YARN 集群配置高可用模式。
其中可参考:http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/