95-120-046-源码-Cluster-YarnSessionClusterEntrypoint

最新推荐文章于 2024-06-05 18:00:22 发布
最新推荐文章于 2024-06-05 18:00:22 发布
阅读量845 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105555141
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文主要介绍了Flink在Yarn上的Cluster模式，包括模式的优缺点，如资源浪费和影响业务的扩容问题。同时提到了Single Job模式，该模式下，Job提交到Yarn集群，由Yarn自动分配资源。
摘要由CSDN通过智能技术生成

1. 视界

在这里插入图片描述

2.拓扑图

在这里插入图片描述

3.概述

​ Flink在Yarn上有两种模式，一种是cluster模式，即像Yarn申请一定量的资源，有点类似于Standalone模式，当然我觉得缺点应该很明显（这里我也不是很肯定，因为我使用的不是这种模式），就是资源的浪费，以及扩容的时候需要重启，影响业务。另一种是Single Job模式，即将一个单独的Job提交到Yarn集群，由Yarn来根据配置分配Container。

4.main方法

public static void<
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-120-042-源码-Cluster-SessionClusterEntrypoint
九师兄
07-03 430
1. 视界 2.拓扑图 3.概述 ​ SessionClusterEntrypoint继承了这个类，并且实现了部分方法createSerializableExecutionGraphStore，createRestEndpoint，createDispatcher。为什么没有实现createResourceManager方法呢？ ​ 从SessionClusterEntrypoint的子类就可...
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
热门推荐
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
flink1.10三节点集群之yarn-session模式
ASN_forever的博客
05-19 1万+
提前搭建Hadoop集群环境，可以参考这篇文章。 本文章的集群环境： 机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章 启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...
flink on yarn启动流程分析
tjq980303的博客
07-01 624
本文主要分析提交一个flink on yarn的任务的流程，以job模式为例子 CliFront作为提交命令行的入口 一个命令行runJob的整体调用链路如下 run -> runProgram -> executeProgram -> ClusterClient.run 其中yarn相关的流程就在runProgram方法中 // 获取激活的customCommandLine final CustomCommandLine<?> customCommandLine =
MySQL集群PXC（Percona-XtraDB-Cluster-8.0.32）
05-31
MySQL集群PXC： Percona-XtraDB-Cluster-8.0.32-24.tar.gz percona-xtradb-cluster_8.0.32-24.orig.tar.gz Percona-XtraDB-Cluster-8.0.32-24.tar.gz.gz
GLM-4本地部署的实战教程
最新发布
herosunly的博客
06-05 12万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
Redis 6 redis-cluster-proxy 集群代理使用
yangyun901222的博客
10-16 2090
redis-cluster-proxy
[ 2021春节 Flink打卡第一弹] -- 原理架构
zhanggf的博客
02-14 331
Flink on Yarn的两种运行方式 1. 启动一个yarn session 在Yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在Yarn集群中，除非手动停止。 YarnSessionClusterEntrypoint即为Flink在Yarn上的ApplicationMaster，同时也是JobManager； YarnTaskExecutorRunner负责接收 subTask，并运行，就是TaskManager a.在 YARN ...
基于Flink1.8的Flink On Yarn的启动流程
super_wj0820的博客
06-01 5373
基于Flink1.8版本，分析 On Yarn模式的任务提交过程： 明确提交模式：Job模式和Session模式 分析启动命令，确定Main方法入口
flink的yarn模式部署
qianfeng_dashuju的博客
07-08 2034
1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图： 2、flink session HA模式 需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个.
Flink集群部署OnYarn模式
长臂人猿的博客
03-22 1548
文章目录解压安装包修改配置用户环境变量修改flink-conf.yaml修改masters修改works修改zoo.cfg小虫子：访问不了web页面分发集群on yarn的运行方式单纯的yarn启动yarn session模式2021.3.8更新期待引入hadoopClasspathJAVA中shell工具类调用exe模式找不到环境变量 解压安装包 tar -zxvf flink-1.12.1-bin-scala_2.11.tgz 修改配置 用户环境变量 vim ~/.bash_profile expor
Flink On Yarn HA模式搭建问题
weixin_56892092的博客
07-06 1055
Flink ON Yarn HA搭建无法启动分析
Flink奇葩问题（1） yarn-session模式下找不到自定义jar包中的类路径
yfqfy的专栏
03-18 2834
问题描述： 任务能够提交成功，但是点击错误任务直接跳出错误窗口，任务日志不显示，错误如下：
Flink on Yarn启动流程分析
Han.启书的博客
09-23 2219
HBase BlockCache知识点铺垫 为后面继续梳理BlockCache的核心内容，在此先铺垫一下相关的知识点： BlockCache接口 BlockType BlockCacheKey, Cacheable键值对 CacheStats BlockCache实现 BlockCache接口 从图中可以看出BlockCache接口关心的内容 oper...
flink 安装Standalone高可用模式报错 Could not start cluster entrypoint StandaloneSessionClusterEntrypoint 已解决
weixin_46122692的博客
10-28 5380
一、先来看看详细报错信息： ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint StandaloneSessionClusterEntrypoint. org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entr
hdfs通过接口退出安全模式_flink的yarn模式部署
weixin_39591455的博客
11-26 375
1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...
Flink on yarn集群HA配置
qq_37135484的博客
01-17 2122
1.集群规划 Flink on yarn 的HA其实是利用yarn自己的恢复机制。 在这里需要用到ZK，主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn自己的集群机制，但是在Flink job在恢复时，需要依赖检查点产生的快照，而这些快照虽然配置在hdfs,但是其元数据信息保存在zookeeper中，所以我们还要配置zookeeper的信息 hadoop集群：mast...
提供1-300张高清头像PSD源码下载
资源摘要信息:"本资源是一个压缩包文件，包含了1到300张高清头像的PSD源码。PSD格式是Adobe Photoshop的专用格式，它可以保存图像的图层、蒙版、文字、调整图层等多种信息，便于用户对图像进行后续编辑和处理。本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值