实战之flink 1.11中的Application Mode部署模式K8S-Application模式生产使用支持下载用户自定义Jar包(已跑通)

最新推荐文章于 2024-03-07 11:45:00 发布
最新推荐文章于 2024-03-07 11:45:00 发布
阅读量686 收藏 2
点赞数 1
分类专栏： 大数据 Flink入门及实战 公开专栏 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/110450675
版权
本文介绍了Flink 1.11在Kubernetes上的Application Mode部署模式，探讨了该模式如何支持用户自定义Jar包，并分析了其在资源管理和任务隔离上的优势。同时，提出了该模式的挑战，即每个任务需要单独打包镜像，并提出了解决方案。
摘要由CSDN通过智能技术生成

Flink1.11支持了Native Kubernetes Setup Beta，但这种模式只支持将用户自定义的jar包打到自定义的镜像中，这种模式下，来一个用户就要打一个镜像的方式不符合需求。而且这种模式支持的Flink Kubernetes Session。意思是什么呢？先看看官网提交的方式：

$ ./bin/kubernetes-session.sh \
  -Dkubernetes.cluster-id=<ClusterId> \
  -Dtaskmanager
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
Flink1.11 Native K8S和Application Mode本地环境搭建及使用
打工日常
09-29 1169
2020年7月发布Flink 1.11版本的时候，平台正在接入K8S Per Job模式，新发版本的Application Mode 正好应了我们的需求，废话不多说，来看看怎么用Flink K8S Native在本地搭建使用Application Mode模式。 环境 Mac Os 安装brew 步骤 1.安装minikube kubectl $ brew install kubectl minikube 2.安装VirtulBox 网上查找安装 3.搭建本地docker私服 $ docker pull
Flink/Spark on K8s 实战
悦分享
10-03 691
现在，Docker、Kubernetes等容器技术已发展为一项通用技术。容器内抓包定位网络问题容器进程主动退出、只能运行一个参数JVM 参数在容器中突然失效说白了， Kubernetes 的核心理念并不复杂，但涉及的维度的确很多。比如，微服务架构理念、分布式原理、网络、存储等各个层级的知识体系都会覆盖，非运维出身理解起来会比较困难。
flink on native k8s by application mode
weixin_40278610的博客
05-09 1905
flink1.13于5月4日发布，版本迭代之快，更是体现了其势不可挡的发展速度。社区活跃度逐步攀升，当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s application模式部署步骤，原生k8本质上是flink内部集成了k8s，能够做到Taskmanager的弹性伸缩。 而之所以采用application模式部署，是因其规避了session模式的资源隔离问题、per-job模式的集群生命周期问题，以及两者共同的客户端资源消耗问题，也因其显著优点被广泛用于生产环境。 ...
Flink-1.11 新的部署模型 application mode
JasonLee实时计算
10-17 2537
在 Flink-1.11 版本之前 Flink on yarn 有两种部署的模式, session 模式和 per-job 模式,但是这两种模式都存在一定的问题,所以在最新的 Flink...
flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)
Sword_Zhao的博客
04-17 1777
本次部署方案采用flink on k8s，部署方式是flink-kubernetes-operator，部署flink-kubernetes-operator需要helm。我这里使用的是jdk1.8和flink1.13，或者用docker镜像执行flink命令。我使用的是flink1.13，其他版本类似，在docker hub中查询自己所使用版本的基础镜像即可。需要kubernetes version>=1.6，flink version>=1.13。登陆数据库检查产出情况。
Flink on YARN的第三种部署模式：Application Mode
LittleMagic's Blog
09-23 5409
前言 短文状态继续。 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。 传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的...
flink-1.11 Application 模式
yuchuanchen的专栏
07-27 5593
1. 背景 flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势 Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。 Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。 通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行
Flink PerJob模式和Application模式的区别
GavinKai
10-30 5299
PerJob模式 考虑到集群的资源隔离情况，一般生产上的任务都会选择per job模式，也就是每个任务启动一个flink集群，各个集群之间独立运行，互不影响,且每个集群可以设置独立的配置。 特点：每次递交作业都需要申请一次资源 优点：作业运行完成，资源会立刻被释放，不会一直占用系统资源 缺点：每次递交作业都需要申请资源，会影响执行效率，因为申请资源需要消耗时间 应用场景：适合作业比较少的场景、大作业的场景 Application 模式 flink-1.11 引入了一种新的部署模式，..
Flink v1.11 - 官网 - 部署与运维
MiaoSO的博客
09-08 2500
Flink v1.11 - 官网 - 部署与运维 Flink v1.11 - 官网 - 部署与运维 一、集群与部署 1.1 概览 1.1.1 部署方式 1.1.2 部署目标 1.1.3 Application Mode 1.2 Local Cluster - 本地集群 1.3 Flink Downloads 1.4 Hadoop Integration - Hadoop 集成 1.5 Standalone Cluster - 独立集群 1.6 YARN 1.6.1 Quickstart 1.6
php flink,关于php中Flink深入浅出模式下， 应用部署与详细报表分析
weixin_42131414的博客
03-11 749
Flink在1.11版本新增了一种部署模式，目前支持三种：Session 模式、Per job 模式、Application 模式，这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。本篇会按照下面几个步骤进行介绍：1 什么是Session模式2 什么是Per Job模式3 从任务解析过程到Application的设计初衷4什么是Application模式5 启动过程源...
Flink On K8s实践3:Application部署模式实践
homeofcm的专栏
04-10 1123
Apache Flink是当下主流了流式计算引擎，在企业的实时数仓、实时BI、数据湖、智能推荐和风险风控等场景中有广泛的应用。Apache Flink支持多种Resource Providers，也就是可以在多种资源平台上运行，本系列文章以当前热门的容器平台Kubernetes作为Flink的Resource Proivder，全面讲解如何在Kubernetes平台上以Flink Kubernetes Operator的方式运行Flink作业应用。
AUTOSAR-OS学习笔记【Application modes和OS Application的关系】
Lincanman的博客
12-28 5050
一、背景： OSEK-OS规范第5章介绍Application modes，AUTOSAR-SW-OS需求规范的7.6章介绍OS-Application。那么，Application modes和Application有什么区别和关系呢？本文分析一下。 二、Application modes 1. 引入背景： OSEK-OS引入application modes的概念是为了应对ECU需要运行完全独立的应用程序，比如：factory test, Flash programming or normal
Flink ON Yarn 模式 --- per job mode 与application mode的区别
加油
11-05 722
这两种模式中最重要的区别就是main函数启动的位置不同，Flink任务调度的过程是将本地的代码构建成DataFlow图，然后提交到JobManager上面，对于per job mode来说是在本地创建DataFlow，然而对于application mode是在JobManager上创建DataFlow，这就是二者最主要的区别。2、此时ResourceManager接受到客户端的请求，就会分配一个nodemanager去启动ApplicationMaster，就是Flink中的JobManager。
说说Flink运行模式
学一次的博客
08-30 1611
与Per-Job-Cluster的区别：就是Application Mode下, 用户的main函数式在集群中执行的，并且当一个application中有多个job的话，per-job模式则是一个job对应一个yarn中的application，而Application Mode则这个application中对应多个job。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。
Flink1.11中文文档【最新鲜的文档】
about云
07-17 1749
Flink1.11发布后，相信很多小伙伴，想学习新版本Flink，这里整理了Flink1.11版本的相关内容，内容500多页。链接:https://pan.baidu.com/s/1x...
Flink通过Native Kubernetes(k8s)方式Session模式和Application模式进行部署
Bulut0907
09-15 4733
目录1. Session模式1.1 安装Java1.2 下载Flink并解压1.3 在所有k8s的所有node节点下载flink镜像1.4 创建namespace、service账号和给账号授权1.5 启动flink的jobmanager1.6 访问Flink Web页面1.7 向Flink集群提交任务1.8 再次查看Pod和Flink Web 1. Session模式 1.1 安装Java java 8的安装，请参考我的这篇博客centos7同时安装java8和openJdk11、windows同时安装j
k8s application模式自动部署flink任务
weixin_40278610的博客
08-22 895
启动任务和更新任务 public void start( DataprocessParam dataprocessParam, DataMap target, Pair<Boolean, String> ifWithSavePoint) { Kafka kafka = dataprocessParam.getKafka(); TaskInfo taskInfo = dataprocessParam.getTaskInfo(); //配置集群信息
Flink k8s 部署模式 Application集群模式
u013568834的专栏
11-02 2270
官网上给出了部署方式，不过对于基础差一点难免困难一点，所以我把官网上的内容按照部署顺序写一下： # kubectl create -f flink-configuration-configmap.yaml # kubectl create -f jobmanager-service.yaml # kubectl create -f jobmanager-application-non-ha.yaml # kubectl create -f taskmanager-job-deployment.y
Apache Flink连载（四十二）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-非HA Application Cluster
最新发布
qq_32020645的博客
03-07 246
以下参数中 standalone-job、--job-classname 是固定的，后面一个参数是运行的Flink 主类，还可以继续跟参数，例如："--input","/xxx/xx"- name: job-artifacts-volume #这里必须指定该路径，注意是usrlib ，Flink会从该路径读取用户自己的jar包。#将主类对应的jar包放入到该路径下(该路径要在k8s集群所有节点都要有才可以)，可以自定义路径，直接会挂载到容器中。浏览器中输入的ip可以是K8s集群中任意节点的IP。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值