![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Debezium
Brother Jiawei
不够别人聪明,就比别人更用功。
展开
-
03-Debezium的载体Kafka Connect
什么是Kafka Connect正如前面的文章所说,Debezium提供的各种Connector都是实现了Kafka Connect的插件,运行于Kafka Connect的服务上。首先我们要知道,Kafka的特性,例如,topic的分区、I/O结合操作系统的页缓存(page cache)等,这些令Kafka具备了高吞吐量、低延时及高可用等优点。由于Kafka的优点,当需要实现CDC(Changed Data Capture)时,即捕获数据源的变动并同步至目标数据源,我们可以使用Kafka作为数据源和原创 2020-12-11 00:28:04 · 1921 阅读 · 8 评论 -
02-PostgreSQL的WAL机制
1 Debezium是如何从PostgreSQL抓取数据的Debebzium为PostgreSQL提供了PostgreSQL Connector,它通过同步WAL记录实现从PostgreSQL抓取数据的功能。要真正明白PostgreSQL Connector的运行原理,就必须先了解PostgreSQL的WAL机制。2 WAL(Write-Ahead Logging, 预写式日志)WAL保存了对数据库的操作记录,保证了PostgreSQL的事务持久性和数据完整性,同时避免了频繁的io对数据库性能的影响原创 2020-12-08 23:29:19 · 3639 阅读 · 9 评论 -
01-利用Debezium捕获PostgreSQL的数据变化
1 背景最近团队接到这样一个需求,其他团队开发的业务系统需要监控我们负责的子系统中数据表的数据变更情况,当表发生INSERT,UPDATE及DELETE操作时,相关的业务系统能实时获取数据的变化信息。经过讨论,团队决定使用Debezium实现需求,于是便对Debezium进行了较深入的学习。下面给大家分享一下自己对Debezium认识与理解。2 Debezium的介绍...原创 2020-12-08 15:31:13 · 6568 阅读 · 11 评论