【flink】sql-client 提交任务到yarn

最新推荐文章于 2024-11-11 10:39:13 发布
最新推荐文章于 2024-11-11 10:39:13 发布
阅读量4.3k 收藏 4
点赞数 2
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/114698168
版权
本文介绍了如何将Flink SQL客户端的任务提交到YARN运行。首先默认的standalone模式，通过`bin/sql-client.sh embedded`启动，但需确保已启动standalone集群，否则会遇到连接错误。然后，详细阐述了使用`yarn-session`模式的步骤，通过`bin/yarn-session.sh`参数配置启动YARN会话，并用`bin/sql-client.sh embedded -s yarn-session`提交任务。参考链接提供了更多详情。
摘要由CSDN通过智能技术生成

1 默认standalone模式

启动sql-client命令：bin/sql-client.sh embedded

默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会报如下连接拒绝的错误

2 使用yarn-session模式

yarn-session模式其实就是在yarn上生成一个standalone集群

  1. bin/yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm test1 -d
  2. bin/sql-client.sh embedded -s yarn-session

参考文章

https://blog.csdn.net/lsr40/article/details/113398830

flink提交作业到yarn
chanyue123的博客
12-01 8731
讲解flink如何提交到yarn
Flink sql-client.sh使用
chanyue123的博客
06-17 4288
讲解flink sql-client.sql的关键点以及不足
flink sql-client.sh 提交到yarn
xiaosannimei的博客
12-25 4009
下载flink安装包解压 cd 到安装目录执行一下命令启动集群 ./bin/start-cluster.sh 之后执行启动sql-client命令： ./bin/sql-client.sh embedded 默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会连接拒绝的错误。 如果想.
Flink使用SQL Gateway提交SQL Job到远程集群
Denny辉的博客
11-11 1168
flink使用sql gateway提交Job到远程集群，从Flink 1.16.0开始集成了SQL Gateway功能，提供了多种客户端远程并发执行SQL的能力。不用再使用提交jar包的方式来创建任务了。我是使用filnk 1.17.1版本。SQL Gateway提交作业的执行后端可以是Flink的standalone集群或者是Yarn集群。
33张图解flink sql应用提交（建议收藏！）
大数据星球-浪尖
10-14 2185
前言大家好，我是土哥。这已经是我为读者写的第21篇 Flink系列文章了。上周有粉丝在群里问，在流计算平台编写完Flink sql后，为什么通过一键提交按钮，就可以将sql提交到yarn集...
FlinkSql on yarn 提交踩坑记录
weixin_40670099的博客
08-01 3933
FlinkSql on yarn 提交踩坑记录 最近需要实现一个flinksql执行引擎，实现前台只需关注sql编写，后台自动提交flinksql到yarn集群中，由于初次接触flinksql，对flinksql研究不深，在实现过程中遇到很多问题。其中一个问题研究了挺长时间，相信很多初次玩flinksql的朋友们也会遇到这个问题，所以在这里分享一下问题的解决方法。 我是在本地跑通了flinksql的kafk...
Flink作业提交流程（Yarn集群模式）
FlatTiger的博客
04-18 3807
会话模式 1.客户端通过REST接口，将作业提交给分发器。 2.分发器启动JobMaster，并将Job资源提交到JobMaster。 3.JobMaster向Flink的资源管理器请求资源（slots）。 4.Flink的资源管理器向Yarn资源管理器请求Container容器。 5.Yarn资源管理器启动新的TaskManager容器。 6.TaskManager向Flink的资源管理器注册自己可用的slots。 7.Flink的资源管理器通知TaskManager，向新的作业提供slots。 8.T
Flink执行时之client提交作业图-下
adr5970的博客
08-01 245
submitJob方法分析 JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后。构建一个JobInfo对象以封装Job的基本信息。然后将这两个对象传递给submitJob方法： case SubmitJob(jobGraph, listeningBehaviour) =&...
Flink-1.13.0 sql-client yarn-session模式部署
lyd882的博客
05-31 2366
Flink-1.13.0 sql-client yarn-session模式部署 当前flink：sql-client.sh是 flink下类似spark-sql的sql方式处理数据的操作接口,可以像操作普通有界数据表一样去操作无界数据流，支持流实时查询、join、事件时间、水印延迟、窗口等各种操作，不用写java/scala/python代码一样可以操作数据流，当前主sql引擎采用alibaba Blink sql实现，当前flink-1.13.0版本仍是bata版本,有的公司已经在使用，也是未来的一个趋
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3212
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
基于flink1.9.1,flink-sql-client模块SDK单独实现，支持Yarn集群的远程SQL任务发布，可以支撑flink sql任务的远程化执行详细文档+全部资料.zip
12-24
基于flink1.9.1,flink-sql-client模块SDK单独实现，支持Yarn集群的远程SQL任务发布，可以支撑flink sql任务的远程化执行详细文档+全部资料.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩...
Flink on yarn详解
JustinMars的博客
09-27 1166
Flink提供在Yarn上两种运行模式：Session-Cluster和Per-Job-Cluster，其中Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源，作业可能会互相影响，因此比较适合小规模短时间运行的作业，对于Per-Job-Cluster而言，所有作业的提交都是单独的集群，作业之间的运行不受影响（可能会共享CPU计算资源），因此比较适合大规模长时间运行的作业。
FlinkSQL平台化之路-StreamX提交源码剖析
darkness0604的博客
03-23 3914
前言背景 在公司里做实时计算开发,之前大部分job都采用的是基于java的streaming编程方式进行的,这样的好处很明显:足够灵活,可以应对各种复杂的实时分析场景,但缺点也很明显:上手存在门槛,需要懂code,如果是一个逻辑简单的计算需求,用code整体编写起来的方式,会让整个流程也略显笨重… 于是我开始想,目前的公司流式开发的流程也趋于稳定了,而对于后续接近来的需求,如果可以用SQL解决,就尽可能用SQL解决,这样无论是从开发成本或者是未来如果版本升级造成的迁移成本都会有一个明显的降低。 而如果单纯通
在IDEA中 基于内核的Flink任务提交
qq_41463207的博客
08-31 1424
如何能在不借助Flink命令行的方式去提交我们的flink任务呢？一起进来学习分享交流
Flink SQL 在kerberos on yarn环境下提交
leiline的博客
09-25 1984
Flink SQL 作业在kerberos on yarn环境下提交
Flink 提交到 yarn 时 修改 yarn 的job 名称
Cincinnati_De的博客
06-23 2547
Flink 设置 Job名称
Flink提交作业流程
chaohui2638457321的博客
01-21 307
4.2 任务提交流程 ps：上图中7.指TaskManager为JobManager提供slots，8.表示JobManager提交要在slots中执行的任务给TaskManager。 上图是从一个较为高层级的视角来看应用中各组件的交互协作。 如果部署的集群环境不同（例如YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中。 具体地，如果我们将Flink集群部署到YARN上，那么就会有如下的提交流程： Fl
flink sql 命令行 连接 yarn
yy的博客
06-26 446
flink sql 连接 yarn
Flink SQL Client CLI 使用入门
magic_kid_2010的专栏
04-07 4998
参照：https://blog.csdn.net/boling_cavalry/article/details/105964425 一、SQL Client Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。 SQL 客户端 的目的是提供一种简单的方式来编写、调试和提交表程序到.
flink sql-client 1.19.1
最新发布
12-31
### Flink SQL-client 1.19.1 版本特性 Flink 社区持续改进和完善 SQL-client 功能，在 1.19.1 版本中引入了一系列增强功能和优化措施。此版本增强了对复杂查询的支持，提升了性能表现，并增加了更多连接器选项来满足多样化的应用场景需求。 - **增强的查询处理能力**：支持更复杂的嵌套子查询结构以及多层聚合操作。 - **性能提升**：通过对内部执行计划生成机制进行了调整，减少了不必要的计算开销；同时针对分布式环境下的资源调度策略也做了相应优化[^1]。 - **新增加的数据源连接器**：除了已有的 Kafka 和 Hive 连接器外，还加入了对于 MongoDB、Elasticsearch 等多种外部存储系统的集成支持[^2]。 ### 安装指南 为了安装 Flink SQL-client 1.19.1，需先获取对应版本的二进制包并将其解压至目标目录： ```bash wget https://archive.apache.org/dist/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz tar -xzvf flink-1.19.1-bin-scala_2.12.tgz -C /opt/ cd /opt/flink-1.19.1 ``` 接着按照官方文档说明配置好必要的环境变量 `FLINK_HOME` 及路径设置，确保可以从任意位置调用 Flink 命令行工具[^3]。 最后根据实际应用情况下载所需的额外组件或插件，例如 MySQL CDC Connector: ```bash sudo -u flink wget https://repo1.maven.org/maven2/com/ververica/flink-connector-mysql-cdc/2.3.0/flink-connector-mysql-cdc-2.3.0.jar -P $FLINK_HOME/lib/ ``` 请注意上述命令中的链接指向的是特定版本（此处为 2.3.0），具体应依据项目需求选择合适的依赖项版本。 ### 使用教程 启动 Flink SQL-client 后可以通过交互式的命令提示符来进行各种数据库操作。下面是一个简单的例子展示如何创建一张基于 CSV 文件格式输入流上的表，并对其进行基本统计分析： ```sql CREATE TABLE my_table ( id BIGINT, name STRING, age INT ) WITH ( 'connector' = 'filesystem', 'path' = '/tmp/input.csv', 'format' = 'csv' ); SELECT COUNT(*), AVG(age) FROM my_table; ``` 此外还可以利用预加载好的 JDBC 或者其他类型的连接器实现与其他关系型数据库之间的无缝对接，方便快捷地完成数据迁移任务或是构建实时ETL管道[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值