【flink】sql-client 提交任务到yarn

最新推荐文章于 2024-08-19 10:52:23 发布
最新推荐文章于 2024-08-19 10:52:23 发布
阅读量4.2k 收藏 4
点赞数 2
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/114698168
版权
本文介绍了如何将Flink SQL客户端的任务提交到YARN运行。首先默认的standalone模式，通过`bin/sql-client.sh embedded`启动，但需确保已启动standalone集群，否则会遇到连接错误。然后，详细阐述了使用`yarn-session`模式的步骤，通过`bin/yarn-session.sh`参数配置启动YARN会话，并用`bin/sql-client.sh embedded -s yarn-session`提交任务。参考链接提供了更多详情。
摘要由CSDN通过智能技术生成

1 默认standalone模式

启动sql-client命令：bin/sql-client.sh embedded

默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会报如下连接拒绝的错误

2 使用yarn-session模式

yarn-session模式其实就是在yarn上生成一个standalone集群

  1. bin/yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm test1 -d
  2. bin/sql-client.sh embedded -s yarn-session

参考文章

https://blog.csdn.net/lsr40/article/details/113398830

Flink on yarn详解
JustinMars的博客
09-27 1135
Flink提供在Yarn上两种运行模式：Session-Cluster和Per-Job-Cluster，其中Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源，作业可能会互相影响，因此比较适合小规模短时间运行的作业，对于Per-Job-Cluster而言，所有作业的提交都是单独的集群，作业之间的运行不受影响（可能会共享CPU计算资源），因此比较适合大规模长时间运行的作业。
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3107
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
flink sql-client.sh 提交到yarn
xiaosannimei的博客
12-25 3925
下载flink安装包解压 cd 到安装目录执行一下命令启动集群 ./bin/start-cluster.sh 之后执行启动sql-client命令： ./bin/sql-client.sh embedded 默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会连接拒绝的错误。 如果想.
Flink之SQL client使用案例
最新发布
zxcvbnm0207的博客
08-19 1710
s(--slots)：每个TaskManager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1，有时可以多一些taskmanager，做冗余。# 在提交n次事务后，进行binlog的落盘，0为不进行强行的刷新操作，而是由文件系统控制刷新日志文件，如果是在线交易和账有>关的数据建议设置成1，如果是其他数据可以保持为0即可。所以该错误可以忽略。Per-Job Mode：单作业模式，我们也是更多的使用这种模式，这个模式会将我们的资源更合理的规划使用。
33张图解flink sql应用提交（建议收藏！）
大数据星球-浪尖
10-14 2134
前言大家好，我是土哥。这已经是我为读者写的第21篇 Flink系列文章了。上周有粉丝在群里问，在流计算平台编写完Flink sql后，为什么通过一键提交按钮，就可以将sql提交到yarn集...
FlinkSql on yarn 提交踩坑记录
weixin_40670099的博客
08-01 3912
FlinkSql on yarn 提交踩坑记录 最近需要实现一个flinksql执行引擎，实现前台只需关注sql编写，后台自动提交flinksql到yarn集群中，由于初次接触flinksql，对flinksql研究不深，在实现过程中遇到很多问题。其中一个问题研究了挺长时间，相信很多初次玩flinksql的朋友们也会遇到这个问题，所以在这里分享一下问题的解决方法。 我是在本地跑通了flinksql的kafk...
flink提交作业到yarn
chanyue123的博客
12-01 8578
讲解flink如何提交到yarn
Flink作业提交流程（Yarn集群模式）
FlatTiger的博客
04-18 3778
会话模式 1.客户端通过REST接口，将作业提交给分发器。 2.分发器启动JobMaster，并将Job资源提交到JobMaster。 3.JobMaster向Flink的资源管理器请求资源（slots）。 4.Flink的资源管理器向Yarn资源管理器请求Container容器。 5.Yarn资源管理器启动新的TaskManager容器。 6.TaskManager向Flink的资源管理器注册自己可用的slots。 7.Flink的资源管理器通知TaskManager，向新的作业提供slots。 8.T
Flink-1.13.0 sql-client yarn-session模式部署
lyd882的博客
05-31 2313
Flink-1.13.0 sql-client yarn-session模式部署 当前flink：sql-client.sh是 flink下类似spark-sql的sql方式处理数据的操作接口,可以像操作普通有界数据表一样去操作无界数据流，支持流实时查询、join、事件时间、水印延迟、窗口等各种操作，不用写java/scala/python代码一样可以操作数据流，当前主sql引擎采用alibaba Blink sql实现，当前flink-1.13.0版本仍是bata版本,有的公司已经在使用，也是未来的一个趋
210.Flink（五）：Flink的sql-client，流处理中的表，表的crud，kafka、file、mysql的connect读写，savepoint，catalog，代码中实现
鹏哥哥Aaa
10-23 286
Flink的sql-client，流处理中的表，表的crud，kafka、file、mysql的connect读写，savepoint，catalog，代码中实现
Flink SQL --Flink 整合 hive
加油
11-13 1181
catalog(元数据) ---> database ---> table ---> 数据 --- > 列。
Flink执行时之client提交作业图-下
adr5970的博客
08-01 236
submitJob方法分析 JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后。构建一个JobInfo对象以封装Job的基本信息。然后将这两个对象传递给submitJob方法： case SubmitJob(jobGraph, listeningBehaviour) =&...
FlinkSQL平台化之路-StreamX提交源码剖析
darkness0604的博客
03-23 3868
前言背景 在公司里做实时计算开发,之前大部分job都采用的是基于java的streaming编程方式进行的,这样的好处很明显:足够灵活,可以应对各种复杂的实时分析场景,但缺点也很明显:上手存在门槛,需要懂code,如果是一个逻辑简单的计算需求,用code整体编写起来的方式,会让整个流程也略显笨重… 于是我开始想,目前的公司流式开发的流程也趋于稳定了,而对于后续接近来的需求,如果可以用SQL解决,就尽可能用SQL解决,这样无论是从开发成本或者是未来如果版本升级造成的迁移成本都会有一个明显的降低。 而如果单纯通
在IDEA中 基于内核的Flink任务提交
qq_41463207的博客
08-31 1400
如何能在不借助Flink命令行的方式去提交我们的flink任务呢？一起进来学习分享交流
Flink SQL 在kerberos on yarn环境下提交
leiline的博客
09-25 1937
Flink SQL 作业在kerberos on yarn环境下提交
Flink 提交到 yarn 时 修改 yarn 的job 名称
Cincinnati_De的博客
06-23 2457
Flink 设置 Job名称
Flink提交作业流程
chaohui2638457321的博客
01-21 284
4.2 任务提交流程 ps：上图中7.指TaskManager为JobManager提供slots，8.表示JobManager提交要在slots中执行的任务给TaskManager。 上图是从一个较为高层级的视角来看应用中各组件的交互协作。 如果部署的集群环境不同（例如YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中。 具体地，如果我们将Flink集群部署到YARN上，那么就会有如下的提交流程： Fl
flink sql 命令行 连接 yarn
yy的博客
06-26 438
flink sql 连接 yarn
Flink SQL Client CLI 使用入门
magic_kid_2010的专栏
04-07 4812
参照：https://blog.csdn.net/boling_cavalry/article/details/105964425 一、SQL Client Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。 SQL 客户端 的目的是提供一种简单的方式来编写、调试和提交表程序到.
flink提交任务到yarn命令
06-13
提交Flink任务到YARN的命令如下： ``` ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 examples/streaming/WordCount.jar ``` 其中： - `-m`：指定Flink集群的地址，这里使用yarn-cluster模式。 - `-yn`：指定YARN节点的数量，这里指定2个节点。 - `-yjm`：指定YARN上JobManager的内存大小，这里为1G。 - `-ytm`：指定YARN上TaskManager的内存大小，这里为1G。 - `examples/streaming/WordCount.jar`：指定要提交的Flink任务的jar包路径。 需要注意的是，提交任务前需要先启动YARN集群和Flink集群。同时，需要将Flink的lib目录下的所有jar包上传到YARN的HDFS上，以便在任务运行时能够访问到这些依赖库。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值