flink-sql实现多个insert语句一起执行

已于 2022-03-23 17:04:09 修改
阅读量7.4k 收藏 5
点赞数 5
分类专栏： flink 文章标签： flink
于 2022-03-23 17:03:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40829577/article/details/123689416
版权

1 问题背景

使用flink-sql开发, 当多个insert分别写出时, 生成了多个job, 每个job都在yarn上启动了一个应用,flink的per-job模式，一个job就会申请一次资源.

-

2 问题解决

// 创建语句集
val stmtSet = tab_env.createStatementSet

// 增加insert语句
stmtSet.addInsertSql("insert_01")
stmtSet.addInsertSql("insert_02")

// 执行多个INSERT 语句
val tab_result = stmtSet.execute

// 来获取作业状态
System.out.println(tab_result.getJobClient.get.getJobStatus)

-

3 相关参考

flinksql 流批一体

如何把多个FLINK SQL放到同一个Yarn JOB里

-

4 搜索词汇

1 如何把多个FLINK SQL放到同一个Yarn JOB里

盛源_01
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Flink SQL:INSERT Statements
weixin_48813624的博客
11-07 1218
Flink SQL:INSERT Statements
PL/SQL 多条insert语句一起执行
总要有一个梦想或大或小
06-04 1万+
一次性执行多条insert语句INSERT INTO wtr_workrecord   (id,wbs_id,gic_id,activity_id,city_id,work_date,norduration,description,sitename,neid,netypeid,user_id,checkuser_id,approveuser_id,status, period,ot1duratio...
flink使用StatementSet降低资源浪费
最新发布
oTianShangDiXia的博客
06-27 526
项目中有很多ods层（mysql 通过cannal）kafka，需要对这些ods kakfa做一些etl操作后写入下一层的kafka（dwd层）。当有多个ods->dwd操作放在同一个flink作业中时，发现这种方式会导致每次insert操作都是单独的DAG,非常消耗资源，特别是这些处理都是比较轻量级的，最好是能融合在同一个DAG中共享资源。
FlinkSQL建表语句与插入语句
luo981695830的博客
10-09 6534
FlinkSQL来构建实时数仓，其思路大概如下：Flink的Table API提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafka topic抽象成Flink Table，如下： FlinkSQL读数据建表语句 CREATE TABLE flink_rtdw.demo.kafka_source_table ( topic STRING, bidWord STRING, planID STRING, eventTime INTEGER, ...
flink中insertDB与kafka发送消息按序执行
prince~home
03-31 5464
业务：首先使用flink从kafka中获取消息，这个消息对应着一个关于直播间的具体信息，当然过来的是一个JSON；之后对数据进行流式处理，存入clickhouse；最后通过kafka将数据更新的情况传递给下游服务。 main方法：流式处理直接用main启动，自己就跟那儿跑，但是遇到报错会停止；并行度这块儿可以按需设置；execute方法必须执行，不写运行不了。 public static void main(String[] args) throws Exception { Str
Oracle快速执行大量insert语句
qq_37283618的博客
05-09 6519
一：遇到的问题 最近在做数据库迁移的工作，其中有一些数据表数据量庞大，传统的执行insert语句批量执行，执行速度非常的缓慢。 二：解决思路 1.首先原库的一张表fj_date有6万多条数据；新库中的表名与它一样，但是没有数据。 2.其次要解决的问题是：使用DBLINK建立两库的连接，语法就不多说了，看图。 3.然后需要做的就是在原库中编写sql，实现跨库的select——insert操作，具体...
flink教程-基于flink 1.11 使 sql客户端支持执行sql文件
张伟的专栏
06-05 704
Flink的SQL客户机可以在启动时读取YAML配置文件，该文件可以包括空闲状态保留规范。例如，您可以通过 sql语言- client.sh嵌入式-e sql client-配置.yaml 配置文件包含 execution: planner: old # optional: either 'old' (default) or 'blink' type: streaming # required: execution mode either 'batch' or 'streaming' resu.
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
- 如果有多个SQL Server表需要同步，可以创建多个源表和相应的数据流，然后合并到一个统一的目标表。 - 随着业务发展，你可能需要升级Flink CDC连接器版本，确保兼容性和利用最新特性。 总之，通过Flink-...
基于Flink+SQL实现数据同步.doc
03-06
随着数据同步需求的增长，如何利用Flink 结合 SQL 实现高效的数据同步成为了一个热门话题。本文将详细介绍如何使用 Apache Flink 和 SQL 来实现从 Hive 到 MongoDB 的数据同步过程。 #### 关键技术点 1. **Apache ...
Flink+SQL集成Ambari,实现Mongo到Hive的数据同步.doc
03-06
- 使用Flink SQL API编写SQL语句，实现数据的抽取、转换和加载（ETL）过程。 - 示例SQL语句： ```sql CREATE TABLE mongo_source ( id INT, data STRING ) WITH ( 'connector' = 'mongodb', 'mongodb.uri' ...
Flink SQL大数据视频教程下载
09-15
4. SQL DML（Data Manipulation Language）：执行数据查询和更新的语句，包括 SELECT、INSERT、UPDATE 和 DELETE。 5. 时间属性：Flink SQL 支持事件时间和处理时间，允许开发者根据业务需求选择合适的时间窗口进行...
FlinkSql2Kudu.rar
07-08
标题"FlinkSql2Kudu.rar"暗示了这个压缩包文件主要关注的是Apache Flink与Kudu之间的集成，尤其是关于如何使用SQL查询Kudu数据。在描述中提到了两个关键的JAR文件，"flink-connector-kudu_2.11-1.1-SNAPSHOT.jar"和...
pyflinksql部署会分裂为多个任务，已解决
m0_56161419的博客
04-23 192
pyflink sql在进行多sink插入操作时，因为一个execute_sql()算子只能执行一句sql，我们会使用以下写法.通过查询flink官方网站 sql 文档后得出下述优化写法，可以把部署的任务变为一个。目前这样的写法会使部署的任务变为两个。版本：flink1.16.1。
Flink Batch SQL 1.10 实践
阿里云技术
12-18 466
Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。 架构 Stack 首先来看下stack，在新的Blink planner中，batch也是架设在Transformati...
28、Flink 的SQL之DROP 、ALTER 、INSERT 、ANALYZE 语句
热门推荐
alanchanchn的专栏
10-23 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
sql批量insert 语句其中部分语句失败处理方法
qq_35640866的博客
11-01 997
为了避免主键冲突导致整个插入操作失败，我们可以使用INSERT IGNORE或者INSERT INTO …ON DUPLICATE KEY UPDATE或者replace into语句。当使用批量插入语句时，如果存在主键冲突，MySQL会抛出Duplicate entry ‘value’ for key 'PRIMARY’的异常，其中value表示引发冲突的主键值。如果存在primary or unique相同的记录，则先删除掉。这种sql 如果其中一条sql执行失败， 整条直线语句回回滚失败。
Flink执行过程
qq_42456324的博客
06-07 3824
Flink执行流程
flink-sql所有语法详解
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
Flink：执行流程
程序员无羡的博客
04-10 197
Flink：执行流程
flink sql execute_insert与insert_into
06-15
`execute_insert` 和 `insert_into` 都是 Flink SQL 中用于向外部系统输出数据的语句，但是具体的使用场景和语法略有不同。 `execute_insert` 是一个执行 SQL 插入语句的函数，其语法通常为： ```sql INSERT INTO table_name (column1, column2, column3, ...) VALUES (value1, value2, value3, ...) ``` 其中 `table_name` 是要插入数据的表名，`column1, column2, column3, ...` 是要插入数据的列名，`value1, value2, value3, ...` 是要插入的具体数据。在 Flink SQL 中，`execute_insert` 通常用于将查询结果插入到外部系统中，例如： ```sql INSERT INTO kafka_sink SELECT * FROM some_table ``` 这条语句将 `some_table` 表中的数据输出到 Kafka 中。 而 `insert_into` 是 Flink SQL 中用于向外部系统输出数据的语句，其语法通常为： ```sql INSERT INTO sink_table SELECT * FROM source_table ``` 其中 `source_table` 是要输出数据的源表，`sink_table` 是要输出数据的目标表。在 Flink SQL 中，`insert_into` 通常用于将查询结果输出到外部系统中，例如： ```sql INSERT INTO kafka_sink SELECT * FROM some_table ``` 这条语句将 `some_table` 表中的数据输出到 Kafka 中。需要注意的是，在 Flink SQL 中，`insert_into` 语句通常需要配合 `CREATE TABLE` 语句一起使用，用于定义输出数据的格式和目标位置。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值