flink cdc捕获postgresql数据

最新推荐文章于 2024-08-06 08:23:54 发布
最新推荐文章于 2024-08-06 08:23:54 发布
阅读量5.6k 收藏 6
点赞数 2
分类专栏： flink 数据库 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41197407/article/details/112655218
版权
本文介绍了如何在Flink 1.11环境下，配置和测试CDC功能来捕获PostgreSQL 9.5及以上版本的数据。首先，确保数据库wal_level设置为logical并重启。然后，将必要的flink connector jar包导入Flink lib目录，并启动Flink SQL客户端。在PostgreSQL创建测试表后，在Flink SQL客户端创建对应的表，并插入数据进行验证。注意Flink CDC的建表脚本与普通JDBC连接的脚本有所不同，运行任务在UI上会显示为running状态。
摘要由CSDN通过智能技术生成

flink cdc捕获postgresql变化数据

环境准备

  • flink 1.11
  • postgresql数据库，版本要大于9.4，postgresql 9.5以下版本不支持upsert。
  • flink jar包
    1.flink-connector-postgres-cdc.jar
    2.flink-connector-jdbc_2.11-1.11.2.jar
    点击下载 提取码：3p16

flink cdc功能测试

  1. 修改postgresql配置文件
vi postgresql.conf

修改 wal_level = logical ，重启数据库,使配置生效

  • 注意：wal_level = logical源表的数据修改时，默认的逻辑复制流只包含历史记录的primary key，如果需要输出更新记录的历史记录的所有字段，需要在表级别修改参数：ALTER TABLE tableName REPLICA IDENTITY FULL; 这样才能捕获到源表所有字段更新后的值
  1. 将jar包导入flink lib目录
  2. 启动flink sql客户端
bin/sql-client.sh embedded

4.在postgre中创建测试表

create table pg_cdc_source(id int,<
最低0.47元/天 解锁文章
闻风-堡
关注
专栏目录
FLINK CDC 连接 postgresql 遇到的坑 【推荐】
lg4546的专栏
04-02 3670
用Flink cdc 连接 postgresql 数据库 实现数据传输，实时将数据从 postgresql 库同步到 postgresql库，也可以同步到 Kafka ，也可以同步到 ES，这次先讲下pg 到 pg的 这方面的资料网上非常的少，全是自己踩的坑。 1 前面讲了 要同步哪些包到 flink 的lib目录下，今天继续使用 flink cdc 数据同步 登录客户端：sql-client.sh embedded 成功后标志。 2 登录成功后需要建立管道流。 CREATE TAB...
flink cdc postgresql
04-07
2. **定义数据源**：在Flink作业中，声明基于CDC的PostgreSQL数据源，指定需要监听的表及其变更事件类型。 3. **处理数据流**：对捕获的变更事件进行处理，可以是简单的过滤、转换，也可以是复杂的业务逻辑计算。 4....
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka
jiewolf的博客
02-10 9104
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka搭建过程及问题解决
探索实时数据分析新境界：Flink AnalyticDB PostgreSQL Connector全面解析
最新发布
gitblog_00042的博客
08-06 642
探索实时数据分析新境界：Flink AnalyticDB PostgreSQL Connector全面解析 alibabacloud-analyticdb-postgresql-connectoralibabacloud-analyticdb-postgresql-connector项目地址:https://gitcode.com/gh_mirrors/al/alibabacloud-analy...
Flink CDC实时同步PG数据库
酸菜鱼的博客
05-12 4250
Flink CDC同步PG数据库全流程
Flink如何处理update数据
东境物语
07-21 3511
Flink实时统计GMV,如果订单金额下午变了该怎么处理
FLINK CDC postgresql (Stream与SQL)
Mogeko1的博客
01-13 3446
FLINK CDC postgresql （Stream与SQL）
flinkCdc捕获postgresql增量日志
shy_snow的专栏
05-16 1607
import com.ververica.cdc.connectors.postgres.PostgreSQLSource; import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.streaming.api.datastream.DataStreamS
基于Flink CDC实时同步PostgreSQL与Tidb【Flink SQL Client模式下亲测可行，详细教程】
nefu_ljw的博客
08-20 2822
只要这个flink作业是正常runnning，那么对source_table的任何修改都会同步到sink_table。注意这种是单向同步，source_table的变动（增/删/改）会同步到sink_table，但反过来sink_table的变动不会影响到source_table（不会触发source_table->sink_table的同步）。
postgres-cdc-flink:使用Debezium流式传输PostgreSQL CDC，并使用Flink使用状态流进行充实
04-10
使用Flink丰富Kafka流与另一个流环境设定安装PostgreSQL 11+ 设置PostgreSQL以允许使用pgoutput将Debezium转换为CDC。 参考在您的机器/集群上设置Apache Kafka（使用Kafka Connect） 从安装Debezium PostgreSQL连接...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是...
flink1.14.3 cdc jar包
03-13
Flink CDC 是 Apache Flink 提供的一种功能，它允许从关系型数据库中实时捕获插入、更新和删除事件，从而实现低延迟的数据同步。Flink 1.14.3 版本引入了对多种数据库的 CDC 支持，显著增强了其在实时数据管道中的...
flink CDC监控PG数据库的demo案例
04-19
Flink CDC允许我们近乎实时地捕获数据库中的插入、更新和删除操作，然后将这些变更流式传输到各种下游处理系统或数据存储。 在描述中提到的"demo案例"通常包含了一个完整的示例，它展示了如何配置和运行Flink CDC...
flink cdc 连接posgresql 数据库相关问题整理
hellowangxiansheng的博客
04-13 2231
原因：Flink CDC 在 scan 全表数据（我们的实收表有千万级数据）需要小时级的时间（受下游聚合反压影响），而在 scan 全表过程中是没有 offset 可以记录的（意味着没法做 checkpoint），但是 Flink 框架任何时候都会按照固定间隔时间做 checkpoint，所以此处 mysql-cdc source 做了比较取巧的方式，即在 scan 全表的过程中，会让执行中的 checkpoint 一直等待甚至超时。解决方法：默认会随机生成一个 server id，容易有碰撞的风险。
FlinkCDC系列之Postgres实时数据采集
Tanger_Xiaolin的博客
11-03 791
PostgresSQL的日志分为3类：pg_log(数据库运行日志)，pg_xlog(WAL日志， 即重做日志)， pg_clog(事务提交日志，记录的是事务的元数据)1、pg_log(数据库运行日志)这个日志记录的是数据库运行时，服务器，数据库的各种状态信息，比如报错信息，定位慢查询SQL, 数据库的启动停止信息，发生checkpoint频繁的告警信息等等。2、pg_xlog(WAL日志， 即重做日志)这个日志记录的是Postgres的WAL信息，写前日志，也叫预写日志。
cdc工具 postgresql_使用 Debezium、Postgres 和 Kafka 更改数据捕获体系结构
weixin_39658726的博客
12-22 521
相关的配置文件在 GitHub 存储库中可用在 Azure 上设置 PostgreSQL 和 Kafka本节将提供有关如何为 PostgreSQL 配置 Azure 事件中心和 Azure DB 的指针。所有你需要的是一个微软 Azure帐户 –继续前进， 并注册一个免费的！邮政的 Azure DBPostgreSQL 的 Azure DB 是基于开源 PostgreSQL 数据库引擎的社区版本的...
【Flink CDC】基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL
书山有路，学海无涯。记录成长，追逐梦想
01-07 2080
这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 和 Postgres 的流式 ETL。本教程的演示都将在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java / Scala 代码，也无需安装 IDE。
Flink-SQL 写入PostgreSQL 问题汇总
dymkkj的专栏
06-25 2328
​。
整合flink-cdc实现实时读postgrasql
qq_37436172的博客
11-06 3988
整合flink-cdc实现实时读postgrasql 什么是wal日志 wal日志即write ahead log预写式日志，简称wal日志。wal日志可以说是PostgreSQL中十分重要的部分，相当于oracle中的redo日志。 当数据库中数据发生变更时： change发生时：先要将变更后内容计入wal buffer中，再将变更后的数据写入data buffer； commit发生时：wal buffer中数据刷新到磁盘； checkpoint发生时：将所有data buffer刷新的磁盘。 可以想象
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值