flink-sql实现多个insert语句一起执行

已于 2022-03-23 17:04:09 修改
阅读量7.5k 收藏 5
点赞数 5
分类专栏： flink 文章标签： flink
于 2022-03-23 17:03:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40829577/article/details/123689416
版权

1 问题背景

使用flink-sql开发, 当多个insert分别写出时, 生成了多个job, 每个job都在yarn上启动了一个应用,flink的per-job模式，一个job就会申请一次资源.

-

2 问题解决

// 创建语句集
val stmtSet = tab_env.createStatementSet

// 增加insert语句
stmtSet.addInsertSql("insert_01")
stmtSet.addInsertSql("insert_02")

// 执行多个INSERT 语句
val tab_result = stmtSet.execute

// 来获取作业状态
System.out.println(tab_result.getJobClient.get.getJobStatus)

-

3 相关参考

flinksql 流批一体

如何把多个FLINK SQL放到同一个Yarn JOB里

-

4 搜索词汇

1 如何把多个FLINK SQL放到同一个Yarn JOB里

盛源_01
关注
专栏目录
大数据Flink（七十）：SQL 动态表 & 连续查询
Lansonli（蓝深李）的博客
08-31 1323
可以理解为虽然 group by user, tumble(xxx) 上游也是一个源源不断的数据，但是这个查询本质上是对时间上的划分，而时间都是越变越大的，当前这个滚动窗口结束之后，后面来的数据的时间都会比这个滚动窗口的结束时间大，都归属于之后的窗口了，当前这个滚动窗口的结果数据就不会再改变了，因此这条查询只有 INSERT 数据，即一个 Append 查询。连续查询（Continuous Query） 的产出的结果 = 批处理模式在输入表的上执行的相同查询的结果。查询每小时持续计算结果并更新结果表。
Flink-SQL管理工具flink-streaming-platform-web部署
litlit023的专栏
02-09 3232
根据下列文章，即可成功启动，这里偷懒直接参考下面这篇就好 https://blog.csdn.net/xinxin6193/article/details/112347736
flink使用StatementSet降低资源浪费
最新发布
oTianShangDiXia的博客
06-27 543
项目中有很多ods层（mysql 通过cannal）kafka，需要对这些ods kakfa做一些etl操作后写入下一层的kafka（dwd层）。当有多个ods->dwd操作放在同一个flink作业中时，发现这种方式会导致每次insert操作都是单独的DAG,非常消耗资源，特别是这些处理都是比较轻量级的，最好是能融合在同一个DAG中共享资源。
Flink SQL:INSERT Statements
weixin_48813624的博客
11-07 1233
Flink SQL:INSERT Statements
PL/SQL 多条insert语句一起执行
总要有一个梦想或大或小
06-04 1万+
一次性执行多条insert语句INSERT INTO wtr_workrecord   (id,wbs_id,gic_id,activity_id,city_id,work_date,norduration,description,sitename,neid,netypeid,user_id,checkuser_id,approveuser_id,status, period,ot1duratio...
FlinkSQL建表语句与插入语句
luo981695830的博客
10-09 6552
FlinkSQL来构建实时数仓，其思路大概如下：Flink的Table API提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafka topic抽象成Flink Table，如下： FlinkSQL读数据建表语句 CREATE TABLE flink_rtdw.demo.kafka_source_table ( topic STRING, bidWord STRING, planID STRING, eventTime INTEGER, ...
flink中insertDB与kafka发送消息按序执行
prince~home
03-31 5472
业务：首先使用flink从kafka中获取消息，这个消息对应着一个关于直播间的具体信息，当然过来的是一个JSON；之后对数据进行流式处理，存入clickhouse；最后通过kafka将数据更新的情况传递给下游服务。 main方法：流式处理直接用main启动，自己就跟那儿跑，但是遇到报错会停止；并行度这块儿可以按需设置；execute方法必须执行，不写运行不了。 public static void main(String[] args) throws Exception { Str
Oracle快速执行大量insert语句
qq_37283618的博客
05-09 6566
一：遇到的问题 最近在做数据库迁移的工作，其中有一些数据表数据量庞大，传统的执行insert语句批量执行，执行速度非常的缓慢。 二：解决思路 1.首先原库的一张表fj_date有6万多条数据；新库中的表名与它一样，但是没有数据。 2.其次要解决的问题是：使用DBLINK建立两库的连接，语法就不多说了，看图。 3.然后需要做的就是在原库中编写sql，实现跨库的select——insert操作，具体...
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
- 如果有多个SQL Server表需要同步，可以创建多个源表和相应的数据流，然后合并到一个统一的目标表。 - 随着业务发展，你可能需要升级Flink CDC连接器版本，确保兼容性和利用最新特性。 总之，通过Flink-...
基于Flink+SQL实现数据同步.doc
03-06
随着数据同步需求的增长，如何利用Flink 结合 SQL 实现高效的数据同步成为了一个热门话题。本文将详细介绍如何使用 Apache Flink 和 SQL 来实现从 Hive 到 MongoDB 的数据同步过程。 #### 关键技术点 1. **Apache ...
Flink-SQL实现kafka处理后写入kafka
JustinMars的博客
10-13 2078
基本信息 kafka版本 1.13.2 topic 原始数据topic user_behavior 输出数据topic after_binlog 读取kafka原始数据 CREATE TABLE user_behavior ( id BIGINT, name STRING, flag STRING ) WITH ( 'connector.type' = 'kafka', -- 使用 kafka connector 'co
【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka
weixin_53543905的博客
12-16 2319
在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加。Linux 或者 Windows 端需要安装：Mysql，Kafka，Flink 等。1、首先确认MySQL是否开启binlog机制，log_bin = ON 为开启 （如下图）Mysql 中写入测试数据，Kafka-Topic 中观察是否有数据生成。2、如果是本地环境的 Mysql 按照下面方式开启 binlog。3、重启 Mysql 服务。2、写入数据的语句准备就绪。
flink教程-基于flink 1.11 使 sql客户端支持执行sql文件
张伟的专栏
06-05 729
Flink的SQL客户机可以在启动时读取YAML配置文件，该文件可以包括空闲状态保留规范。例如，您可以通过 sql语言- client.sh嵌入式-e sql client-配置.yaml 配置文件包含 execution: planner: old # optional: either 'old' (default) or 'blink' type: streaming # required: execution mode either 'batch' or 'streaming' resu.
【Flink】FlinkSQL如何触发执行计算
一杯咖啡半杯糖的博客
03-02 728
Table （通过 StatementSet.addInsert() 输出给某个 Sink）和 INSERT 语句 （通过调用 StatementSet.addInsertSql()）会先被缓存到 StatementSet 中，StatementSet.execute() 方法被调用时，所有的 sink 会被优化成一张有向无环图。该方法是用来将一个表的内容插入到目标表中，一旦该方法被调用， TABLE API 程序立即被翻译。该方法是用来执行一个 SQL 语句，一旦该方法被调用， SQL 语句立即被翻译。
pyflinksql部署会分裂为多个任务，已解决
m0_56161419的博客
04-23 200
pyflink sql在进行多sink插入操作时，因为一个execute_sql()算子只能执行一句sql，我们会使用以下写法.通过查询flink官方网站 sql 文档后得出下述优化写法，可以把部署的任务变为一个。目前这样的写法会使部署的任务变为两个。版本：flink1.16.1。
Flink Batch SQL 1.10 实践
阿里云技术
12-18 470
Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。 架构 Stack 首先来看下stack，在新的Blink planner中，batch也是架设在Transformati...
28、Flink 的SQL之DROP 、ALTER 、INSERT 、ANALYZE 语句
热门推荐
alanchanchn的专栏
10-23 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
sql批量insert 语句其中部分语句失败处理方法
qq_35640866的博客
11-01 1036
为了避免主键冲突导致整个插入操作失败，我们可以使用INSERT IGNORE或者INSERT INTO …ON DUPLICATE KEY UPDATE或者replace into语句。当使用批量插入语句时，如果存在主键冲突，MySQL会抛出Duplicate entry ‘value’ for key 'PRIMARY’的异常，其中value表示引发冲突的主键值。如果存在primary or unique相同的记录，则先删除掉。这种sql 如果其中一条sql执行失败， 整条直线语句回回滚失败。
Flink执行过程
qq_42456324的博客
06-07 3853
Flink执行流程
flink sql execute_insert与insert_into
06-15
`execute_insert` 和 `insert_into` 都是 Flink SQL 中用于向外部系统输出数据的语句，但是具体的使用场景和语法略有不同。 `execute_insert` 是一个执行 SQL 插入语句的函数，其语法通常为： ```sql INSERT INTO table_name (column1, column2, column3, ...) VALUES (value1, value2, value3, ...) ``` 其中 `table_name` 是要插入数据的表名，`column1, column2, column3, ...` 是要插入数据的列名，`value1, value2, value3, ...` 是要插入的具体数据。在 Flink SQL 中，`execute_insert` 通常用于将查询结果插入到外部系统中，例如： ```sql INSERT INTO kafka_sink SELECT * FROM some_table ``` 这条语句将 `some_table` 表中的数据输出到 Kafka 中。 而 `insert_into` 是 Flink SQL 中用于向外部系统输出数据的语句，其语法通常为： ```sql INSERT INTO sink_table SELECT * FROM source_table ``` 其中 `source_table` 是要输出数据的源表，`sink_table` 是要输出数据的目标表。在 Flink SQL 中，`insert_into` 通常用于将查询结果输出到外部系统中，例如： ```sql INSERT INTO kafka_sink SELECT * FROM some_table ``` 这条语句将 `some_table` 表中的数据输出到 Kafka 中。需要注意的是，在 Flink SQL 中，`insert_into` 语句通常需要配合 `CREATE TABLE` 语句一起使用，用于定义输出数据的格式和目标位置。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值