大数据
文章平均质量分 85
维之
这个作者很懒,什么都没留下…
展开
-
Flink CDC 实现Postgres到MySQL流式加工传输案例
案例实现文章的访问量统计使用FlinkPostgresCDC进行数据输入,在FlinkSQLCLI中进行逻辑加工,整个过程使用SQL,无需代码。将结果通过JDBC方式输出到MySQL。原创 2022-07-28 11:38:18 · 2394 阅读 · 0 评论 -
Flink PostgreSQL CDC配置和常见问题
Postgres的CDC源表(即Postgres的流式源表)用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读也不少读一条数据。即使发生故障,也能采用ExactlyOnce方式处理。idINT,PRIMARYKEY(`id`)NOTENFORCED--如果要同步的数据库表定义了主键,则这里也需要定义)WITH('connector'='postgres-cdc',--固定值'postgres-cdc'......原创 2022-07-28 11:13:33 · 9027 阅读 · 3 评论