Flink PostgreSQL CDC配置和常见问题

原创

已于 2022-10-23 21:39:03 修改 · 1w 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#postgresql #flinkcdc #postgresql cdc

于 2022-07-28 11:13:33 首次发布

本文介绍了如何在PostgreSQL数据库上配置CDC（Change Data Capture）以实现实时流式数据同步，包括数据库配置、权限设置、表结构定义及代码示例，特别关注了Postgres CDC的使用范围、注意事项和常见问题解决方法。

部分内容来源：流计算 Oceanus 数据库 PostgreSQL CDC-SQL 开发指南-文档中心-腾讯云

介绍

Postgres 的 CDC 源表（即 Postgres 的流式源表）用于依次读取 PostgreSQL 数据库全量快照数据和变更数据，保证不多读也不少读一条数据。即使发生故障，也能采用 Exactly Once 方式处理。

使用范围

PostgreSQL CDC 只支持作为源表。支持的 PostgreSQL 版本为9.6及以上版本。

PostgreSQL 数据库配置准备

postgresql.conf 配置

# 更改wal发送最大进程数（默认值为10），这个值和上面的solts设置一样
max_wal_senders = 10    # max number of walsender processes
wal_keep_segments = 2   # in logfile segments; 0 disables
# 中断那些停止活动超过指定毫秒数的复制连接，可以适当设置大一点（默认60s）
wal_sender_timeout = 60s    # in milliseconds; 0 disables
#更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个slots
max_replication_slots = 10   # max number of replication slots
#指定为logical
wal_level = logical         # minimal, replica, or logical
# - Archiving -
archive_mode = on
archive_command = 'test ! -f /var/lib/pgsql/11/arch/%f && cp %p /var/lib/pgsql/11/arch/%f'

pg_hba.conf

添加

# IPv4 local connections:

host    all                 all              0.0.0.0/0               md5

host    replication         all              0.0.0.0/0               md5