基于Canal数据同步系统搭建

技术栈：Canal+Kafka+Zookeeper

---

前言

当系统数据库连接数不够用、单表存储数据量超过特定量时候我们要考虑进行分库分表操作。

分库分表一时爽，如果没有足够的经验，分表后的数据满足不了业务查询等操作是个令人头疼的事，分表后的分页查询、出报表数据、出对账文件一系列问题确实让人头大，本篇文章我们对分表后的数据实现聚合，将分表后各个表中的数据再存储到一个表中，对总表进行分区处理，以供后期的一些查询操作。

本篇文章我们基于Alibaba的开源组件Canal进行搭建一套数据同步系统，将分表数据进行聚合。

针对Canal架构原理，前段时间在公司做这套数据同步系统时候总结过一篇水文Canal 架构解析水文 ，看热闹的看客可以移步去看下，作为开源的项目，个人还是建议看下源码，源码确实写的很不错的。

针对基础概念性的东西这里就不多说了，网上介绍基础概念以及搭建过程的东西还是很多的，以后有时间在介绍。

企业中经常canal做数据聚合，数据异构等，