Flink CDC 如何从指定位置拉取消息

最新推荐文章于 2024-06-20 10:58:57 发布
最新推荐文章于 2024-06-20 10:58:57 发布
阅读量2.2k 收藏 3
点赞数 2
分类专栏： Flink 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20051535/article/details/121072733
版权
笔记 同时被 3 个专栏收录
49 篇文章 0 订阅
订阅专栏
Flink
3 篇文章 0 订阅
订阅专栏
Flink CDC
2 篇文章 0 订阅
订阅专栏

场景

已知binlog的文件名和pow编号，希望从指定的位置拉消息

代码

在连接的时候加上这句

.startupOptions(StartupOptions.specificOffset("mysql-bin.000013", 1260))

 

程序员麻薯
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
flinkcdc 数据读取选项 数据读取起始位置
yy的博客
07-21 1510
flinkcdc 数据读取选项 数据读取起始位置 scan.startup.mode 参数文档 MySQL CDC 连接器参数 MySQL CDC sql参数 MySQL CDC with参数 通过github wiki找到参数文档 flinkcdc mysql读取点位参数文档查找
Flink CDC 读取MySQL的数据
热门推荐
一个数据小开发的博客
12-24 1万+
1、前提背景准备 Flink在1.11之后就已经支持从MySQL增量读取Binlog日志的方式。 pom文件如下： <properties> <scala.binary.version>2.11</scala.binary.version> <scala.version>2.11.12</scala.version> <flink.version>1.12.0</flink.version>
FlinkCdc从Mysql指定的binlog日志offsetPos位置开始读取数据
shy_snow的专栏
02-11 4920
flinkCdc1.4.0版本有specificOffset方式指定binlog日志的位置开始读数据, 新版本测试还未支持该功能。 import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource; import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions; import com.alibaba.ververica.cdc.debezium.StringD..
深入解析 Flink CDC：实时数据捕获与处理的强大工具
最新发布
微笑听雨
06-20 5148
Flink CDC (Change Data Capture) 是 Apache Flink 的扩展组件，用于捕获数据库中的变化数据，并将其作为流处理作业的一部分进行实时处理。
FlinkCDC 2.0
asd623444055的博客
08-25 2122
通过自定义反序列化器将输出的能容进行更改确定自定义序列化器输出的内容及格式{"db":"","op":"", //操作类型}//1.获取flink 执行环境//设置并行度.databaseList("cdc_test") //指定数据库（可变形参 可指定多个）// .tableList("cdc_test.user_info") //指定表名 （以库名.表名 的方式指定）...
Flink 1.13（八）CDC
ks_1998的博客
07-29 1300
Flink CDC
Flink-CDC 关闭初始化读表锁, DDL 锁 Schema 锁, 使用增量或者全量或者指定偏移量
BIG.KE的博客
02-24 1612
Snapshot step 3 的时候会进行锁表,Snapshot step 7 的时候读全量表。Snapshot step 6 的时候会锁库。
大数据技术之Flink CDC视频教程
07-08
Flink CDC是Flink社区开发的Flink-cdc-connector组件，是一个可以实现从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。通过使用Flink CDC，搭配Flink的流批一体数据计算引擎，能够实现采集...
flink cdc postgresql
04-07
2. **定义数据源**：在Flink作业中，声明基于CDC的PostgreSQL数据源，指定需要监听的表及其变更事件类型。 3. **处理数据流**：对捕获的变更事件进行处理，可以是简单的过滤、转换，也可以是复杂的业务逻辑计算。 4....
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
flink-1.13.6_cdc
07-07
Flink-CDC允许用户从支持的数据库（如MySQL）中实时摄取变更事件，从而构建实时数据管道。 压缩包子文件的文件名称列表中： 1. "flink-connector-mysql-cdc-2.0.1.jar"：这是Flink MySQL CDC连接器的JAR文件，版本...
FlinkCDC 踩坑日志
qq_31528769的博客
10-19 5424
FlinkCDC 使用遇到的问题记录
flink-cdc入门使用
myself_ning的博客
07-07 2332
flink-cdc入门，flink-cdc原理概述，flink-cdc简单应用
flink run 参数_浅谈 Flink - KafkaTable 解析
weixin_39944542的博客
12-27 693
flink 提供多种消费 Kafka 数据的方式，由于不同层级接口支持的功能范围、粒度不同，同时 flink 版本迭代频繁，接口也在不断发生变化，因此使用起来容易混淆。当我们定义了一个 Kafka 的 DDL，例如：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'kafka', 'connector.vers...
Flink学习4-流式SQL
迷路剑客个人博客
09-20 6718
Flink学习4-流式SQL 摘要 最近需要做流式数仓，所以调研就要Flink流式SQL。初期选定袋鼠云做的flinkStreamSQL。本文会记录一下重要的文章。 1 flinkStreamSQL 1.1 flinkStreamSQL解决的问题 原生FlinkSQL没有实现对数据来源、数据目的地的SQL化，必须要写代码。 这个就很坑了，一般来说，SQL面向数据分析人员，如果要写代码无疑提高了门槛...
大数据项目之Flink实时数仓(数据采集/ODS层)
wenqi
01-25 8241
高价值实战项目 Flink实时数仓+实时大屏搭建！
flink分析使用之四Job的启动
fpcc的专栏
05-19 2602
flink分析使用之四Job的启动 一、介绍 在老的flink版本中，工作是由Jobmanager（低版本）和JobMaster来管理的，Flink通过JobManager实现Client和TaskManager交互协作，Client将JobGraph提交给JobManager，利用JobGraph实现ExecutionGraph，然后分发到TaskManager上执行。从 flip-6起，开始通...
Flink SQL 中动态修改 DDL 的属性
JasonLee实时计算
12-20 6862
Flink 支持使用 HiveCatalog 来管理 Flink 的元数据信息, HiveCatalog 通过授权用户仅创建一次表和其他元数据对象，这样就避免了重复创建 kafka 流表...
flink cdc 从doris同步数据到doris案例
05-05
Flink CDC（Change Data Capture）是一种数据同步技术，可以从源数据库中捕获变更数据并将其同步到目标数据库中。DorisDB是一款分布式数据仓库，支持海量数据的存储和查询分析。下面以将数据从DorisDB同步到DorisDB为例，介绍如何使用Flink CDC实现数据同步。 1. 准备工作 在开始之前，需要安装好以下工具和环境： - DorisDB - Flink - Flink CDC 2. 创建数据源 首先需要创建一个数据源，用于从DorisDB中读取数据。可以使用Flink的JDBCInputFormat来读取DorisDB中的数据。在Flink中，可以使用以下代码创建一个JDBCInputFormat： ``` JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat() .setDrivername(driverName) .setDBUrl(dbUrl) .setUsername(username) .setPassword(password) .setQuery("SELECT * FROM table") .finish(); ``` 其中，driverName、dbUrl、username和password是DorisDB的连接信息，"SELECT * FROM table"是要读取的表的SQL语句。 3. 创建数据同步任务 接下来需要创建一个Flink的数据流任务，用于将从DorisDB中读取的数据同步到另一个DorisDB中。可以使用Flink的DataStream API来实现数据同步。以下是一个示例代码： ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<Row> sourceStream = env.createInput(jdbcInputFormat); DataStream<Row> sinkStream = sourceStream.map(new MapFunction<Row, Row>() { @Override public Row map(Row value) throws Exception { // 对数据进行转换 return value; } }); DorisDBOutputFormat dorisDBOutputFormat = new DorisDBOutputFormat(); dorisDBOutputFormat.setDrivername(driverName); dorisDBOutputFormat.setDBUrl(dbUrl); dorisDBOutputFormat.setUsername(username); dorisDBOutputFormat.setPassword(password); dorisDBOutputFormat.setTable(table); dorisDBOutputFormat.setBatchSize(batchSize); sinkStream.writeUsingOutputFormat(dorisDBOutputFormat); env.execute(); ``` 其中，sourceStream是从DorisDB中读取的数据流，sinkStream是经过转换后要写入到DorisDB的数据流。可以使用map函数对数据进行转换。DorisDBOutputFormat是一个自定义的输出格式，用于将数据写入到DorisDB中。在这个示例代码中，DorisDBOutputFormat的batchSize属性设置为1000，表示每1000条数据进行一次批量写入。 4. 运行数据同步任务 将上述代码保存为一个Java程序，并使用Flink命令行工具提交任务即可开始数据同步。在执行过程中，Flink CDC会自动监控DorisDB中的数据变更，将新增、修改、删除等操作同步到目标数据库中。 总的来说，使用Flink CDC实现DorisDB数据同步是一种高效、可靠的方式。它不仅可以帮助用户快速实现数据同步，还可以提高数据的实时性和准确性，为企业的数据分析和决策提供有力支持。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员麻薯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值