Flink on yarn详解

已于 2023-11-24 12:11:54 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： hadoop flink 文章标签： flink 大数据 数据库
于 2022-09-27 20:01:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011095039/article/details/127077485
版权
hadoop 同时被 2 个专栏收录
133 篇文章 13 订阅 ¥49.90 ¥99.00
订阅专栏
flink
25 篇文章 0 订阅 ¥9.90 ¥99.00
订阅专栏
本文详细介绍了Flink在Yarn上的运行机制，包括Flink job、JobManager、TaskManager的角色和功能。重点阐述了Yarn架构中的ResourceManager、ApplicationMaster、NodeManager和Container，以及Flink在Yarn上的application、Session和pre-job三种运行模式。资源统一管理和调度、资源隔离以及自动failover机制在Yarn中得以实现，确保了Flink任务的高效和稳定运行。
摘要由CSDN通过智能技术生成
  • Client：用户通过 SQL 或者 API 的方式进行任务的提交，提交后会生成一个 JobGraph。
  • JobManager：JobManager 接受到用户的请求之后，会对任务进行调度，并且申请资源启动 TaskManager。
  • TaskManager：它负责一个具体 Task 的执行。TaskManager 向 JobManager 进行注册，当 TaskManager 接收到 JobManager 分配的任务之后，开始执行具体的任务。

Flink job

在这里插入图片描述

用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，它会生成一个JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 JobGraph 提交给 Flink 集群后，能够以 Local、Standalone、Yarn 和 Kubernetes 四种模式运行。

Flink Jo

了解本专栏 订阅专栏 解锁全文
贾斯汀玛尔斯
关注
专栏目录
订阅专栏
flink sql 命令行 连接 yarn
yy的博客
06-26 421
flink sql 连接 yarn
Flink on Yarn（HA配置）
lmalds的专栏
12-21 9204
Flink Yarn HA
FlinkSql on yarn 提交踩坑记录
weixin_40670099的博客
08-01 3882
FlinkSql on yarn 提交踩坑记录 最近需要实现一个flinksql执行引擎，实现前台只需关注sql编写，后台自动提交flinksql到yarn集群中，由于初次接触flinksql，对flinksql研究不深，在实现过程中遇到很多问题。其中一个问题研究了挺长时间，相信很多初次玩flinksql的朋友们也会遇到这个问题，所以在这里分享一下问题的解决方法。 我是在本地跑通了flinksql的kafk...
（四）flink on yarn 模式总结
qq_24186017的博客
03-03 375
目录 flink on yarn 模式部署 flink on yarn 提交job流程 yarn模式 Session 模式 Per-Job Cluster 模式 flink on yarn 模式部署 flink on yarn 提交job流程 yarn模式 Session 模式 Session mode 模式需要先启动集群，然后再提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下个作业就无法提交，只能等到yarn中的其中一个总也执行完成后，释放了资源，
flink on yarn
枪枪枪的博客
12-14 2613
Yarn Session 启动成功后，会创建一个/tmp/.yarn-properties-root文件，记录最近一次提交到 Yarn 的 Application ID，执行以下命令启动 SQL 客户端命令行界面，后续指定的 Flink SQL 会提交到之前启动的 Yarn Session Application。作业执行的顺序不受部署模式的影响，但是会受启动作业的调用方式影响。为每一个应用启动一个集群，应用运行在JM上（由JM来执行应用中的main()方法），应用结束，集群关闭。
flink实战--flink on yarn
阿华田的博客
10-31 5664
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Flink on yarn参数配置
qq_31866793的博客
08-19 9411
在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个集群环境 下面以spark-session 案例，简单讲解： 启动运行环境： ...
Flink 1.13 cdc 任务 on yarn 日志查询详解
qq_31866793的博客
01-15 4977
目录 一，正常部署之后，flink on yarn 任务查看 二，shell命令查看具体日志 三，开启historyserver 四，使用yarn的restfulApi查看信息 五，总结： 一，正常部署之后，flink on yarn 任务查看 1，正在运行任务： 2，杀死任务之后： 3，我们点击History按钮 进入页面： 这并不是我们想要的效果，so，我们要看看具体的操作。 二，shell命令查看具体日志 在shell命令执行：..
flink on yarn搭建配置
勇往直前
12-24 1041
1 配置HADOOP_CONF_DIR 2 提交jar命令 Flink 1.11中加入的新模式，公共Jar包提前放置到HDFS，然后Client将运行作业需要的依赖都通过Yarn Local Resource传递到JM。 最重要的一点是JobGraph的生成以及Job的提交不再会在Client执行，而是转移到 JM 执行（也就是说Application的main()方法从Client转到JM执行），客户端不需要上传Jar了而只需要负责Job提交和管理，这样网络下载上传的负载也会分 ...
FLINK_ON_YARN-1.12.0.jar
11-01
flink1.12.0 适用于cdh5.2~6.4,系统 el6
flink on yarn模式下flinksql使用hive_catalog
Ricardo_N的博客
02-01 416
flink on yarn 添加hive catalog
Flink on yarn初步讲解
大数据星球-浪尖
07-02 3739
前情回顾对于flink的基本概念和基本运行模式讲解的内容请参考这篇文章《Flink流式处理概念简介》。本文主要是讲解flink on yarn的运行原理及基本使用，后面会...
Flink On Yarn
weixin_45520075的博客
07-23 761
Yarn模式 Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。 因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn 第一种方式 在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交 ...
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2310
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
flink on yarn 模式
大数据
07-03 715
flink2中模式启动方式及其概念
Flink1.11.0 flink on yarn 模式部署详解
shkstart的博客
08-28 4146
上月，Flink发布了新版本1.11.0，增加了很多重要新特性，包括增加了对Hadoop3.0.0以及更高版本Hadoop的支持，不再提供“flink-shaded-hadoop-*” jars，而是通过配置YARN_CONF_DIR或者HADOOP_CONF_DIR和HADOOP_CLASSPATH环境变量完成与yarn集群的对接。 具体步骤如下： 下载Flink1.11.0安装包 flink安装包下载地址 确保安装有Hadoop集群，版本至少Hadoop 2.4.1 配置环境变量 增加环境变量如下：
flink sql on yarn报错： org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.comp
小蚯蚓的博客
07-29 1558
一、问题描述 使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.j
flink On Yarn模式
暮紫的笔记本
03-03 422
flink On Yarn模式 一、准备工作 机器 10.0.3.149(master) 10.0.3.147(slave1) 基本环境准备： JDK1.8 以上的版本,同时需要配置环境变量 JAVA_HOME。 ssh 服务安装并启动 安装包和依赖包 flink的安装包：flink-1.11.2-bin-scala_2.11.tgz https://www.apache.org/dyn/closer.lua/flink/flink-1.11.2/flink-1.11.2-bin-scal
flink on yarn 运行时架构
最新发布
04-04
Flink on YARN运行时架构包括以下组件： 1. YARN：Apache Hadoop YARN是一个集群资源管理器，它管理着Hadoop集群中的所有资源。在Flink on YARN中，YARN被用来托管Flink应用程序，并为应用程序分配和管理资源。 2....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾斯汀玛尔斯

愿我的经历曾为你指明方向

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值