生产环境中on yarn模式是否采用yarn session

最新推荐文章于 2023-12-28 11:45:00 发布
最新推荐文章于 2023-12-28 11:45:00 发布
阅读量353 收藏 1
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleyuchi/article/details/112347861
版权
在生产环境中，Flink on YARN 的 per-job 模式被推荐使用，因为其提供了更好的作业隔离性。standalone 模式由于缺乏良好的作业隔离而不适合。TaskManager 和 TaskSlot 的资源分配在生产场景中是关键考虑因素。
摘要由CSDN通过智能技术生成

flink on yarn包括 yarn session以及per job两种方式.

那么生产环境中到底采用哪种呢?

下面是社区群中的讨论:

 

所以on yarn模式在生产环境中我们使用per job

 

根据[1],

standalone模式也没法用，我看了下我的jps,是这样的：

643545 DataNode
644973 QuorumPeerMain
643773 SecondaryNameNode
643372 NameNode
644348 NodeManager
587823 Launcher
644094 ResourceManager
645651 StandaloneSessionClusterEntrypoint
645925 TaskManagerRunner
649188 Jps
308458 KotlinCompileDaemon
292107 Main
 

根据[2]

概念名称对应的硬件资源/系统资源
Task Manager多个CPU Core
Task Slot一个CPU core
Task Slot多线程共享

 

 

也就是说standalone也是Session模式的，不可用，job之间的隔离性不好．

所以生产模式能用的也就只有yarn per-job方式．

Reference:

[1]Flink SQL CDC 上线！我们总结了 13 条生产实践经验

[2]flink随手笔记之Slot分配与共享

 

Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 354
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
flink1.10三节点集群之yarn-session模式
ASN_forever的博客
05-19 1万+
提前搭建Hadoop集群环境，可以参考这篇文章。 本文章的集群环境： 机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章 启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...
flink on yarn集群环境(生产环境使用)
cqscf的博客
04-18 3827
flink on yarn集群环境(生产环境使用)
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
最新发布
qq_32020645的博客
12-28 1357
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
flink的onYarn模式环境搭建
qw3276425405的博客
05-27 1239
一.onYarn模式 把资源管理器交给yarn模式进行管理 1.两种运行模式 1）session-cluster模式 session：会话，开辟一块新的公共的空间 先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。 例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不
Flink实战案例（五十二）: flink 作业提交（二）yarn 提交模式（一） Flink on YARN Session模式
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1695
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1. Flink on YARN两种方式 　　Flink on YARN 有两种模式：Session模式和Per-Job模式。在Session模式中多个 JobManager 共享 Dispatcher 和 YarnResourceManager。在这种模式下，需要先向 YARN 申请资源，初始化一个常驻服务在 YARN 上，后续提交的Job都将运行在这个Session上： ..
flink on yarn 模式
大数据
07-03 715
flink2中模式启动方式及其概念
60-008-022-使用-命令-yarn-session命令
九师兄
03-12 1747
1.视界 2. Flink On Yarn 2.1 概述 在yarn上启动一个一直运行的flink集群 2.1 两种模式 第一种：在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 第二种(推荐)：每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消...
通过Flink YARN Session来运行任务
zg_hover的专栏
10-11 4760
通过Flink YARN Session来运行任务 本文先介绍Flink YARN Session的基本概念，并介绍如何启动Flink Session，并通过它来运行任务。 简介 Apache Hadoop YARN是一个集群资源管理框架。可以在它之上运行各种分布式应用。在其他应用运行时，Flink也可以运行在其上。 在Flink YARN Session启动时会按配置或参数来申请资源，并会启动Flink的基础服务：JobManager和TaskManagers。这样，就可以向它提交Flink应用了；每个s
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
a18852867035的博客
10-14 1106
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。
yarn-session.sh启动报错的六种解决问题集合包括完全分布式和伪分布式
weixin_52810349的博客
06-08 804
VERSION里的datanodeUuid一致导致的冲突，这里是因为从节点和主节点用一样的datanodeUuid导致node块在yarn集群里冲突了。第二种hdfs的块坏了（yarn-session.sh其实是运行多次没有运行成功，发送过去坏了没有删除）第三种内存爆了，电脑满90%以上内存了，可以调调虚拟机内存配比。在 yarn-site.xml。在yarn-site.xml。在hdfs-site.xml。调成5个，设置为5就可以了。从节点的和主节点一致才能运行。第四种备份副本块的问题。
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 3644
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
flink yarn-session.sh启动任务指定的应用名和队列无效问题
云想慕尘的专栏
07-01 4867
问题背景 我有一个hadoop集群和一台机器A. 我在机器A上，使用命令: bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 & 启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图： 启动后，应用名为：Flink sess
Apache Flink 的 YARN Session 提交流程
Shockang的博客
07-17 1706
从总体上来说，在 Yarn 集群上使用 Session 模式提交 Flink 作业的过程分为 3 个阶段： - 首先在 Yarn 上启动 Flink Session 模式的集群； - 其次通过 Flink Client 提交作业； - 最后进行作业调度执行。
3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式
涂作权的博客
07-06 1857
本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤： 准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式-1。job的轻巧提交设置
热门推荐
CarloPan的博客
06-12 1万+
https://weread.qq.com/web/reader/1b932790723982d91b9bd8dk66f3299023a66f041e16858
Yarn 生产环境核心参数配置案例
weixin_44966780的博客
12-05 1024
Yarn 生产环境核心参数配置案例 注：调整下列参数之前尽量拍摄 Linux 快照，否则后续的案例，还需要重写准备集群。 1）需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核CPU，4 线程。 2）需求分析： 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） 3）修改 yarn-site.xml 配置参数如下： <!-- 选择调度器
cdh flink on yarn
08-17
根据引用中的信息，CDH5.16.2上配置Flink on yarn可以通过flink官网提供的集成方式和HA配置方式来进行。具体的配置方式可以参考官方文档来完成。此外，根据引用中的信息，使用flink的web ui可以重新访问flink on ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值