flink-1.11 Application 模式

最新推荐文章于 2024-02-22 22:18:34 发布

yuchuanchen

最新推荐文章于 2024-02-22 22:18:34 发布

阅读量5.5k

点赞数 1

分类专栏： flink flink-1.11 文章标签：大数据

本文链接：https://blog.csdn.net/yuchuanchen/article/details/107617738

版权

本文介绍了Flink 1.11引入的Application模式，该模式解决了Session和Per-Job模式中客户端资源消耗大的问题。Application模式下，main方法在集群中运行，提供资源隔离和负载平衡。文章详细阐述了Application模式的原理、优势及如何在YARN和K8s上使用，并给出了具体命令示例，强调了预上传依赖包以优化提交流程的重要性。

摘要由CSDN通过智能技术生成

1. 背景

flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。

2. 优势

Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。
Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。

通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行 main() 方法来获取 flink 运行时所需的依赖项，并生成 JobGraph，并将依赖项和 JobGraph 发送到集群的一系列过程中，由于需要大量的网络带宽下载依赖项并将二进制文件发送到集群，会造成客户端消耗大量的资源。尤其在大量用户共享客户端时，问题更加突出。因此，社区提出新的部署方式 Application 模式解决该问题。

3. 原理

Application 模式下，用户程序的 main 方法将在集群中而不是客户端运行，用户将程序逻辑和依赖打包进一个可执行的 jar 包里，集群的入口程序 (ApplicationClusterEntryPoint) 负责调用其中的 main 方法来生成 JobGraph。Application 模式为每个提交的应用程序创建一个集群，该集群可以看作是在特定应用程序的作业之间共享的会话集群，并在应用程序完成时终止。在这种体系结构中，Application 模式在不同应用之间提供了资源隔离和负载平衡保证。在特定一个应用程序上，JobManager 执行 main() 可以节省所需的 CPU 周期，还可以节省本地下载依赖项所需的带宽。

4. 使用

application 模式使用 bin/flink run-application 提交作业；通过 -t 指定部署环境，目前 application 模式支持部署在 yarn 上(-t yarn-application) 和 k8s 上(-t kubernetes-application；并支持通过 -D 参数指定通用的运行配置，比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。
通过 bin/flink run-application -h 可以看到 -D/-t 的详细说明：(-e 已经被废弃，可以忽略)

Options for Generic CLI mode:
     -D <property=value>   Generic configuration options for
                           execution/deployment and for the configured exec