![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDC
文章平均质量分 90
959y
奋斗ing
展开
-
Canal CDC
文章目录1.Canal介绍1.1 Mysql 的binlog介绍1.2 Canal 的运行原理1.3 Canal使用场景2.Mysql 的配置准备3.Canal 的准备4.Canal 数据结构分析5.Java 代码6.Kafka 测试 1.Canal介绍 阿里巴巴 B2B 公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了同步杭州和美国异地机房的需求,从 2010 年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。原创 2022-03-27 15:05:59 · 1821 阅读 · 0 评论 -
Flink CDC
文章目录1.CDC概述1.1 CDC1.2 CDC 分类1.3 Flink-CDC1.4 ETL 分析2.Flink CDC 编码2.1 提前准备2.2 mysql 的设置2.3 java 代码编写3.利用自定义格式编码4.Flink Sql 编码5.Flink CDC 2.0 的新特性 1.CDC概述 1.1 CDC CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写原创 2022-03-26 16:14:16 · 2484 阅读 · 0 评论