95-120-042-源码-Cluster-SessionClusterEntrypoint

最新推荐文章于 2023-10-21 08:30:00 发布
最新推荐文章于 2023-10-21 08:30:00 发布
阅读量423 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105555129
版权
本文深入探讨SessionClusterEntrypoint的源码，揭示了为何它不直接实现createResourceManager方法，而是由Yarn、Mesos和Standalone等子类来具体实现。通过分析其继承结构和子类功能，展示了不同调度平台资源管理的实现方式。
摘要由CSDN通过智能技术生成

1. 视界

在这里插入图片描述

2.拓扑图

在这里插入图片描述

3.概述

​ SessionClusterEntrypoint继承了这个类，并且实现了部分方法createSerializableExecutionGraphStore，createRestEndpoint，createDispatcher。为什么没有实现createResourceManager方法呢？

​ 从SessionClusterEntrypoint的子类就可以看出来，分别是YarnSessionClusterEntrypoint，MesosSessionClusterEntrypoint，StandaloneSessionClusterEntrypoint，这三者都是跟如何去调度资源相关的，所以createResourceManager由这些子类来实现。

九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
95-120-046-源码-Cluster-YarnSessionClusterEntrypoint
九师兄
07-03 838
1. 视界 2.拓扑图 3.概述 ​ Flink在Yarn上有两种模式，一种是cluster模式，即像Yarn申请一定量的资源，有点类似于Standalone模式，当然我觉得缺点应该很明显（这里我也不是很肯定，因为我使用的不是这种模式），就是资源的浪费，以及扩容的时候需要重启，影响业务。另一种是Single Job模式，即将一个单独的Job提交到Yarn集群，由Yarn来根据配置分配Conta...
95-120-040-源码-Cluster-ClusterEntrypoint
九师兄
07-03 408
1. 视界 2.拓扑图 3.概述 ​ ClusterEntrypoint，它封装了Cluster启停的逻辑，还有根据配置文件来创建RpcService，HaService, HeartbeatService, MetricRegistry等等服务的逻辑，同时它也提供了几个抽象方法给不同的模式下的特定的ClusterEntrypoint来实现。这四个方法分别是createDispatcher，c...
Flink1.15源码解析---- ClusterEntrypoint
chbxw
11-12 1105
Flink-1.15源码解析---- ClusterEntrypoint
Redis 6 redis-cluster-proxy 集群代理使用
yangyun901222的博客
10-16 2071
redis-cluster-proxy
天鹰340亿(AquilaChat2-34B-16K)本地部署的解决方案
最新发布
herosunly的博客
10-21 6万+
本文主要介绍了天鹰340亿(AquilaChat2-34B-16K)本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行代码
android-19最新源码包
01-16
这个版本的源码包对于开发者来说是一份宝贵的资源，因为它揭示了系统的内部工作原理，提供了对底层代码的完全访问，使得开发者可以深度定制系统、优化应用性能或进行系统级开发。 1. **源码获取与编译** 获取...
GLM-130B本地部署的实战方案
热门推荐
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
Flink源码漫游指南＜伍＞集群是如何启动的
Li_DeSheng的博客
03-18 2755
当用户用Session cli命令启动集群时，首先会在Flink集群启动脚本中调用ClusterEntrypoint抽象类中提供的main()方法，以启动和运行相应类型的集群环境。
flink的yarn模式部署
qianfeng_dashuju的博客
07-08 2026
1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图： 2、flink session HA模式 需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个.
flink 安装Standalone高可用模式报错 Could not start cluster entrypoint StandaloneSessionClusterEntrypoint 已解决
weixin_46122692的博客
10-28 5341
一、先来看看详细报错信息： ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint StandaloneSessionClusterEntrypoint. org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entr
flink-1.11-StandaloneSession模式源码解读之脚本启动流程
喜讯XiCent 的博客
07-15 1068
还记得刚接触Flink的时候， 就是简简单单的配置了几个配置文件然后执行start-cluster.sh脚本集群就起来了。 接着打开flink web页面上传我们要执行jar包。 当初这一切看起来是多么简单，其实底层确蕴含着很多的逻辑， 今天我们就从start-cluster.sh脚本开始，一探究竟。 start-cluster.sh 我们先来看看start-cluster.sh这个脚本 bin=`dirname "$0"` bin=`cd "$bin"; pwd` # 先调用config.sh读取配置
Flink on Yarn启动流程分析-1
crazy246的专栏
03-14 455
总体架构： 源码分析要点： 1.客户端执行启动脚本； 2.启动AppMaster; 3.启动Resource Manager & JobManager; 4.启动Node Manager & TaskManager; 5.集群启动完毕后与客户端的交互。 今天先分析第一部分 ------------------------------------1.客户端执行...
Flink on yarn应用部署
阿尼古
02-20 3987
我就是单纯的保留一份，晚点自己好看，不是原创，切勿上纲上线。 红色部分标出来，就是有人觉得不合适，不用分发，至于用不用，我也不是很清楚，这个需要搞的时候，搞一下不就晓得了。 随着物联网lOT的到来，万物连接一切，使得各大企业的数据也会井喷的增加。传统的大数据处理架构已经无法满足当前企业的发展，这个时候流式架构的出现，让企业的数据能够在较短的时间内处理快速响应迭代，满足企业各种场景下的不同需求。...
Flink源码解析（一）start-cluster.sh脚本分析
Yuan_CSDF的博客
05-24 1126
为深入的理解Flink的工作机制，从现在开始学习Flink源码。包括Flink集群启动流程，任务执行流程。 1.start-cluster.sh 在图中可以看到 。Flink的JobManager与TaskManager都是通过flink-daemon.sh来启动。 传入到flink-daemon.sh脚本大致分别为： JobManager：flink-daemon.sh start standalonesession TaskManger：flink-daemon.sh start task
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值