Flink Job 如何在 Standalone、YARN、Mesos、K8S 上部署运行？

最新推荐文章于 2024-09-19 11:11:15 发布
最新推荐文章于 2024-09-19 11:11:15 发布
阅读量518 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728672
版权
本文详细介绍了如何在不同的集群环境中部署和运行 Flink Job，包括Standalone、YARN、Mesos和Kubernetes。Flink在YARN上的运行能实现资源按需使用和故障自动处理。在Mesos上，Flink支持会话集群和作业集群。而在Kubernetes上，Flink提供了session和job集群的部署方案。每种部署方式都有其特点和适用场景，适合不同公司架构和资源需求。
摘要由CSDN通过智能技术生成

前面章节已经有很多学习案列带大家正式使用了 Flink，章节中不仅有讲将 Flink 应用程序在 IDEA 中运行，也有讲将 Flink Job 编译打包上传到 Flink UI 上运行，在这 UI 背后可能是 YARN、Mesos、Kubernetes。那么这节就系统讲下如何部署和运行我们的 Flink Job，大家可以根据自己公司的场景进行选择！

在讲解完 Flink 中的配置后，接下来接着讲解 Flink 的部署情况。

Standalone

第一种方式就是 Standalone 模式，这种模式笔者在前面 2.2 节里面演示的就是这种，我们通过执行命令：./bin/start-cluster.sh 启动一个 Flink Standalone 集群。

zhisheng@zhisheng  /usr/local/flink-1.9.0  ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host zhisheng.
Starting taskexecutor daemon on host zhisheng.

默认的话是启动一个 Job Manager 和一个 Task Manager，我们可以通过 jps 查看进程有：

65425 Jps
51572 TaskManagerRunner
51142 Sta
了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
Flink ：Flink Standalone集群搭建
天涯论道的专栏
05-25 261
在Flink的开篇介绍中，我们其实已经了解了Flink的架构设计，我们现在再来回顾以下，Flink和Spark类似，提供了standalone模式的集群搭建和提供了on yarn ， on k8s等部署方式。其中standalone集群模式是flink使用中部署的比较多的。因为现在大多数企业的大数据集群中一般使用yarn来做资源调度和管理，所以有部分企业也使用on yarn的模式来进行部署。 其中这两种模式我们都会专门进行有教程进行部署， 但是本文我们主要是部署Standalone集群的模式....
[flink]#10_Flink Job @ Standalone、YARN、Mesos、K8S
PigCircle
12-18 191
Standalone ./bin/start-cluster.sh # jps 65425 Jps 51572 TaskManagerRunner 51142 StandaloneSessionClusterEntrypoint StandaloneSessionClusterEntrypoint 代表的是 Job Manager 进程 TaskManagerRunner 代表的是 Task...
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
最新发布
FLGB
09-19 1537
Kubernetes 更适合现代化的云原生应用，尤其是当你已经在使用 K8s 进行容器编排时，Flink 在 Kubernetes 上可以很好地支持自动扩展、容器化部署和微服务架构。YARN 是经典的 Hadoop 生态系统的一部分，如果你已有 YARN 集群或需要与 Hadoop 集成，Flink 在 YARN 上运行是理想的选择。Mesos 更适合多租户、大规模集群的资源共享和调度，如果你的集群中需要协调多个框架和作业共享资源，Mesos 是一个不错的选择。
flink部署模式（四）- standalone k8s application部署模式
weixin_38251332的博客
06-20 654
Dockerfile 构建镜像NOTE： 需要镜像上传到docker镜像私服（或者在每个node节点都构建相同的镜像），并保证所有k8s node节点都有权限链接到此私服。登录本地镜像仓库重新打标签推送镜像测试镜像可用性创建configmap 创建jobmanager 创建taskmanager 创建jobmanager service 创建namespace设置命名空间首选项创建 Flink 集群查看服务信息查看日志信息删除服务删除ns及下面所有服务查看pod详情查看集群node详情查看configmap
flink部署模式（三）- standalone k8s session 部署模式
weixin_38251332的博客
06-20 820
flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/ 如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则 Flink 组件不能自动地将自己映射到 Kubernetes Service 中。拉取镜像测试镜像可用性登录本地镜像仓库重新打标签推送镜像NOTE： 需要镜像上传到d
Flink on Kubernetes 原理剖析
hhhhhhfq的博客
04-04 3821
Kubernetes 是 Google 开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用Kubernetes 能方便地管理跨机器运行容器化的应用。 Kubernetes —— 基本概念 Kubernetes（k8s）中的 Master 节点，负责管理整个集群，含有一个集群的资源数据访问入口，还包含一个 Etcd 高可用键值存储服务。Master 中运行着 API Server，Controller Manager 及 Scheduler 服务。 Node 为集群的一个操作单元，是 Pod
第三章 Flink 部署
qq_31945139的博客
11-06 234
Standalone 模式 安装 解压缩flink-1.10.1-bin-scala_2.12.tgz， 进入 conf 目录中。 修改 flink/conf/flink-conf.yaml 文件： 修改 /conf/slaves 文件： 分发给另外两台机子： 启动： 访问 http://...
Flink on K8s 企业生产化实践
pop_xiaohao的专栏
02-22 1977
背景 为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用
大数据-玩转数据-FLINK(Yarn模式)的安装与部署
s_unbo的博客
05-21 2517
在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。内存集中管理模式：在Yarn中初始化一个Flink集群，开辟指定的资源，之后我们提交的Flink Jon都在这个Flink yarn-session中，也就是说不管提交多少个job，这些job都会共用开始时在yarn中申请的资源。
Flink Standalone 集群部署
qq_56870570的博客
03-19 1217
Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其Standalone Cluster 模式的部署。 Standalone Cluster 模式是 Flink 自带的一种集群模式，具体配置步骤如下： 安装部署 1. 前置条件 使用该模式前，需要确保所有服务器间都已经配置好 SSH 免密登录服务。这..
Flink/Spark on K8s 实战
悦分享
10-03 716
现在，Docker、Kubernetes等容器技术已发展为一项通用技术。容器内抓包定位网络问题容器进程主动退出、只能运行一个参数JVM 参数在容器中突然失效说白了， Kubernetes 的核心理念并不复杂，但涉及的维度的确很多。比如，微服务架构理念、分布式原理、网络、存储等各个层级的知识体系都会覆盖，非运维出身理解起来会比较困难。
聊聊调度框架，K8S、Mesos、Swarm 一个都不能少
weixin_34235105的博客
08-18 329
Swarm、Mesos、和Kubernetes都为各种规模的企业提供了全面的支持，如何选择是好？ API ▼ 目前找到符合企业自身需求的调度框架比较困难，Docker Swarm、Mesos、Kubernetes三大巨头之间最大的区别在可扩展性方面，Swarm的 Zero To Dev 快速设置功能拥有巨大的优势，Docker API的灵...
Spark的分布式运行模式 Local，Standalone, Spark on Mesos, Spark on Yarn, Kubernetes
u012137473的博客
12-18 1600
Spark的分布式运行模式，Local，Standalone, Spark on Mesos, Spark on Yarn, KubernetesLocal模式Standalone模式Spark on Mesos模式Spark on YarnKubernetes模式 Local模式 Standalone模式的单机版，Master和Worker分别运行在一台机器的不同进程上 Standalone模式...
K8S集群添加NODE节点的简单实现
lsysafe的博客
06-13 2万+
前提:在已经部署的K8S集群基础上进行,部署细节大约如前面写的另一篇博文:https://blog.csdn.net/lsysafe/article/details/85851376 先配好/etc/hosts等解析最好和各MASTR节点的SSH认证也一并做好 NODE节点需要部署的功能: kubectl 命令行工具(可选) 部署 flannel 网络 docker kubelet ...
Mesos和Kubernetes比较
pfm685757的专栏
07-14 4295
我想要聊聊Mesos和Kubernetes，这两者已经达到了很高的成熟度，今年有很多与之相关的博文。我坚定地认为，下一年里，它们的使用增长会更快，因此是时候回顾总结，为2016年做好准备了。本文我想讨论Mesos和Kubernetes的现状，并且列举出优势和劣势，让大家能够理解集群管理器的概念。 Mesos和Kubernetes 在开始之前，我想花时间粗略比较一下Mesos和Kuberne
Mesos和Kubernetes的不同
Mesos的专栏
08-02 985
Mesos是分布式系统内核，它可以将不同的机器整合在一个逻辑计算机上面。当你拥有很多的物理资源并想构建一个巨大的静态的计算集群的时候，Mesos就派上用场了。有很多的现代化可扩展性的数据处理应用都可以在Mesos上运行，包括Hadoop、Kafka、Spark等，同时你可以通过容器技术将所有的数据处理应用都运行在一个基础的资源池中。
2016年容器技术思考: Docker, Kubernetes, Mesos将走向何方?
weixin_45583158的博客
02-23 278
导读：容器技术已经成了很多公司基础架构一部分，架构师是否已经清楚了解 Docker, Swarm, K8S, Mesos，虚拟化等相关技术的未来走向？本文由王渊命向高可用...
Spark 和 Flink 全方面对比(谁是下一代大数据流计算引擎?)
热门推荐
JasonLee实时计算
12-18 4万+
最近也是有很多同学问我spark和flink到底谁好,应该怎么选择,这也是近年来被问的最多的问题,也是经常被拿来比较的,今天就简单的做一个对比,我没有要挑起spark和flink之间的战争,社区间取长补短也好,互相抄袭也罢,我尽量站在一个公平的角度对待他们.下面会从多个方面对两者进行分析(当然有不全面),希望对大家有所帮助.篇幅较长,望大家耐心阅读. Spark简介 Spark的历史比较悠久,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值