flink实战--CDC (Change Data Capture )终极总结

已于 2022-07-13 18:00:12 修改
阅读量4.4k 收藏 6
点赞数 2
分类专栏： Flink学习必读系列 文章标签： flink
于 2020-08-12 15:49:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/107958709
版权
本文详细介绍了Flink CDC的使用，包括CDC的基本概念、支持的数据库类型、数据转换过程、与传统CDC的区别以及Flink CDC作为T层和E层的应用场景。此外，还探讨了Flink CDC的优劣势，以及在不同数据库和Kafka中的配置注意事项，通过案例展示了gmv计算流程。
摘要由CSDN通过智能技术生成

CDC简介

              CDC - Change Data Capture,变更数据获取的简称，用于从数据库中捕获已提交的更改并将这些更改按照真实发生的顺序传播到下游使用者。这些变更可以包括INSERT,DELETE,UPDATE等.在Flink中，能够轻松地将这些变更日志提取并解释为Table API / SQL的功能是Flink社区中非常需要的功能-现在Flink 1.11可以实现这一功能。

              为了将Table API / SQL的范围扩展到CDC之类的用例，Flink 1.11引入了具有changelog模式的新表源和接收器接口（请参见New TableSource和TableSink接口），并支持Debezium和

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
Flink CDC基本概念以及MySQL同步到MySQL
L
07-29 847
本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。
Flink CDC 3.0 表结构变更的处理流程
weixin_36340771的博客
01-29 1329
表结构变更主要涉及到三个类`SchemaOperator`、`DataSinkWriterOperator`（`Sink`端）和`SchemaRegistry`（协调器）；`SchemaOperator`接收结构变更消息时会通知`sink`端和协调器，并等待结构变更操作在协调器执行完毕后在处理后续数据
cdc变更表结构步骤
12-28
db2采用cdc同步数据，当表结构需要发生变动时操作步骤
Flink cdc3.0动态变更表结构——源码解析
yyoc97的专栏
02-05 3398
Flink cdc 动态变更表结构的源码分析
Flink CDC
TU_JCN的博客
08-06 1159
Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。
Flink 实现 MySQL CDC 动态同步表结构
cloudbigdata的博客
01-25 1万+
作者：陈少龙，腾讯 CSIG 高级工程师使用 Flink CDC（Change Data Capture) 实现数据同步被越来越多的人接受。本文介绍了在数据同步过程中，如何将 Schema...
FlinkSQL ChangeLog
不甚了然的博客
03-02 1744
登录sql-client，创建一个upsert-kafka的sql作业（注意，这里发送给kafka的消息必须带key，普通只有value的消息无法解析，这里的key即是主键的值）发送消息带key和消费消息显示key方式如下作业的DAG图如下。
flink cdc实践
zhdan~的专栏
10-11 877
flink cdc实践
flink CDC实践
qq_31866793的博客
10-27 2002
1. FlinkCDC项目：GitHub - ververica/flink-cdc-connectors: Change Data Capture (CDC) Connectors for Apache Flink 欢迎关注（star） 2. 项目文档:Welcome to Flink CDC — Flink CDC 2.0.0 documentation 3. 社区论坛：鼓励在论坛中提问，技术专家值守，保证有问必答https://github.com/ververica...
flink-1.13.6_cdc
07-07
标题中的"flink-1.13.6_cdc"指的是Apache Flink的1.13.6版本，专门用于Change Data Capture (CDC)的实现。Flink是流行的开源流处理框架，它允许实时处理数据流，而CDC则是一种技术，用于捕获数据库中的更改事件并将...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
本话题将详细讲解如何利用Flink的SQL Server Change Data Capture (CDC) 连接器版本2.3.0，将SQL Server中的数据实时同步到MySQL数据库。 首先，让我们了解什么是CDC。CDC是一种数据库技术，它能够捕获数据库中的...
flink-cdc-test
最新发布
06-11
在大数据处理领域，Apache Flink以其实时流处理能力而备受瞩目，而Flink CDC（Change Data Capture）是其一个重要特性，用于捕获数据库中的变化数据，实现数据实时同步。本篇文章将深入探讨Flink CDC测试的相关知识...
Flink CDC 2.x changlog格式的使用【监听MySQL表变化并写入kafka示例】
penriver的博客
09-28 2144
为什么数据先进入kafka? MySQL 数据通过 Flink CDC 进入到 Kafka。 原因如下： 为了实现多个实时任务复用 MySQL 过来的数据， 避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。 测试环境 flink 1.3.2 flink cdc 2.0.2 依赖的jar: flink-sql-connector-kafka_2.11-1.13.2.jar flink-format-changelog-json-2.0.2.j
21、Flink 的table API与DataStream API 集成（3）- changelog流处理、管道示例、类型转换和老版本转换示例
热门推荐
alanchanchn的专栏
11-15 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
Flink-跟着问题读源码：ChangelogSocketExample源码示例无效
三石
08-16 199
flink-examples-table模块的ChangelogSocketExample.java是一个很好的example * <p>In particular, the example shows how to * <ul> * <li>create factories that parse and validate options, * <li>implement table connectors, * <li&
Flink1.16 发布新特性
京河小蚁的博客
09-30 5515
广义的概念上，能够捕获数据变更的技术，我们都可以称为CDC （Change Data Capture）。通常我们说的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。其实我觉得数仓分为实时和离线最好的状态（个人想法）。meetup看了两遍，第一遍感觉听着讲change log那节，比较晦涩，今天又全部听了一遍，感觉对checkpoint的历史节点上优化又有了更深一步的理解。
flink实战--flinkSQL入门大全
阿华田的博客
11-12 2万+
FlinkSQL概念介绍 Table API & SQL Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，Table API和SQL接口彼此紧密集成，以及Flink的DataStream和DataSet A...
flink-connector-mysql-cdc
09-09
flink-connector-mysql-cdc是一个用于连接Flink和MySQL Change Data Capture（CDC）的jar包。您可以通过访问https://mvnrepository.com/artifact/com.alibaba.ververica/flink-connector-mysql-cdc/下载这个jar包，并将其复制到Flink安装位置的lib目录中。 在使用flink-connector-mysql-cdc之前，您需要启动Flink SQL Client，并执行以下SQL语句： ``` CREATE TABLE mysql_binlog ( id INT NOT NULL, name STRING, age INT ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'localhost', 'port' = '3306', 'username' = 'root', 'password' = '123456', 'database-name' = 'demo', 'table-name' = 'student' ); CREATE TABLE sink_table ( id INT NOT NULL, name STRING, age INT ) WITH ( 'connector' = 'print' ); INSERT INTO sink_table SELECT id, name, age FROM mysql_binlog; ``` 这些SQL语句会创建名为mysql_binlog的表，并将其与MySQL的binlog进行连接。同时，它还会创建名为sink_table的目标表，用于接收来自mysql_binlog表的数据，并使用print连接器将数据打印出来。 如果您需要更详细地了解Flink CDC的配置，您可以参考一篇名为《Flink CDC》的文章。在该文章中，您可以深入了解CDC的配置和MySQL如何启用binlog功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值