本文探讨了数据同步的两大问题：存量与增量同步，并详细介绍了传统数据同步方案（如基于查询的CDC）及其存在的问题，以及大数据时代基于日志的CDC（如MySQL binlog）的优势。还列举了如Flink CDC、FlinkX、Canal等开源工具，并讨论了MQ中间件如RabbitMQ、Kafka、Pulsar在数据同步中的角色。最终，提出了采用Flink CDC与Pulsar结合的高效率、低延迟、批流一体的同步方案。
数据同步要解决2个问题，1是存量数据同步，2是增是数据同步。存量同步只需要进行一次，所以又叫离线同步，或批处理同步。增量同步要解决每时每刻的数据变化同步，要运行多次，所以又叫实时同步，流处理同步。
数据准实时复制（CDC）是目前数据同步中大量使用的技术，随着国产化的需求，许多公司也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。目前业界主流的实现机制可以分为两种：
（1）基于查询的 CDC，详一、传统的数据同步方案：
◆离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据；
679
474
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
