分布式binlog同步

需求点

1. 同步数据源的连接数过多
2. 减少运维的复杂度，统一管理
3. 分布式调度，高可用
4. 一致性哈希，防止任务重复运行
5. 检查点机制，状态可恢复
6. 服务注册与发现
7. 数据一致性检验
8. 监控
9. 告警

整体架构

1. mysql
2. etcd
3. canal
4. master
5. work
6. kafka
7. elasticsearch

挑战

1. 同步延迟
2. 表结构变更
3. 任务热点