Flink集群部署模式

会话模式

会话模式需要先启动一个Flink集群,保持一个会话,通过客户端向集群提交作业。这样做的好处就是:集群的生命周期不受作业影响,作业结束了就释放资源,集群仍然能够正常使用。缺点就是:资源共享,不同的作业会抢占资源,一旦资源不够,提交新的作业就会失败,另外同一个TaskManager上会运行很多的作业,一旦其中一个作业失败导致TaskManager宕机,那么所有的作业都会受影响。
会话模式比较适合于单规模小、执行时间短的大量作业。
在这里插入图片描述

单作业模式

但作业模式就是一对一模式,一个作业对应一个集群。客户端运行应用程序,启动对应的集群,提交作业到JobManager,JobManager将作业分发给TaskManager执行,作业执行完毕,集群就会关闭,所有资源都会释放。这样一来,每个作业都有自己的JobManager管理,占用独享的资源,即便发生了故障,也不会影响到其他TaskManager上的作业。
单作业模式更加稳定,是实际应用的首选模式。
但是需要注意的是,Flink集群本身无法直接使用单作业模式,一般需要借助其他资源管理框架使用,比如:Yarn,k8s。
在这里插入图片描述

应用模式

前面的两种模式,代码都是在客户端执行的,如果客户端提交的任务太多,就会占用大量的网络带宽,加重客户端所在节点的资源消耗。
应用模式就是直接把应用提交到JobManager上运行,为每个提交的作业都单独启动一个JobManager,也就是启动一个集群,JobManager只执行这一个应用,一旦应用执行结束,就关闭。
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值