justsomebody126的专栏

架构 基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件（Source），不同的数据目标被抽象成不同的Writer插件（Sink）。 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。 所有任务被包装成 job 提交给 Flink 运行，流处理。 支持任务类型 全量传输 关系型数据库实时增量（读取 binlog） 间隔轮询（定时，可只针对增量） 基本原理 Flinkx 本质是一个.

MySQL 亿级数据量实时同步，如何完美 Hold 住 （小米） https://www.infoq.cn/article/QAJraz0WFvdScFLtKRbm 美团 DB 数据同步到数据仓库的架构与实践 https://www.infoq.cn/article/7ao1LT7yNz82xuvGcWtA 基于 MySQL 和 Otter 实现生产环境安全的数据同步及查询 https://www...

本篇来自 canal owner：https://blog.csdn.net/iteye_7245/article/details/82477269 背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行...

git 地址 https://github.com/alibaba/canal 架构 （图片来自：https://www.jianshu.com/p/0ccbd1a1a5ec） 代码 Demo com/alibaba/otter/canal/parse/MysqlBinlogDumpPerformanceTest.java start // com/aliba...

转自：https://www.jianshu.com/p/0ccbd1a1a5ec 一、整体架构 canal架构图.png canal架构图2.png 说明： server代表一个canal运行实例，对应于一个jvm instance对应于一个数据队列 （1个server对应1..n个instance) instance模块： eventParser (数据源接入，模拟sla...