FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

44 篇文章 182 订阅 ¥9.90 ¥99.00
27 篇文章 0 订阅

Flinkcdc sql的方式同步PG数据库在之前已经详细介绍过,但是有一个问题就是每个表需要占用一个slot ,如果表比较多的情况用这种方法就不妥,于是我们开发了一套通用的PG数据库表同步工具。

关键点:通过简单配置实现表数据实时同步,DDL表结构同步功能。

完整的项目代码在我介绍完后放到git上 ,供大家参考纠正。

配置文件介绍:只需要一个配置文件可以实现多个库 多个表的实时同步,简单吧 !!

DDL 数据同步的原理是 创建一个触发器,当原表结构有变化时会将结构变化的语句保存到触发器创建的表中,再利用Flinkcdc的数据同步方法,把变化的sql语句在结果库创建一遍。

#pg数据库源库表配置信息
source_hostname=172.*******
source_port=65**
source_database=db_****test
# 模式列表,多个模式逗号隔开
source_schemaList=*****e,public
# 表列表,要加上模式名字,多个表用逗号隔开
source_tableList=public.hwdrs_ddl_info
source_username=s**
source_password=67*****
#源表跟目的表结构映射,=前面为源表,=后面为目标表,其中public.hwdrs_ddl_info表存放DDL变化语句
source_goal=public.hwdrs_ddl_info=public.hwdrs_ddl_info,b*****e.test=h****.test
#目标数据库配置信息
goal_username=p****
goal_pa
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lg4546

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值