技术栈:Canal+Kafka+Zookeeper
前言
当系统数据库连接数不够用、单表存储数据量超过特定量时候我们要考虑进行分库分表操作。
分库分表一时爽,如果没有足够的经验,分表后的数据满足不了业务查询等操作是个令人头疼的事,分表后的分页查询、出报表数据、出对账文件一系列问题确实让人头大,本篇文章我们对分表后的数据实现聚合,将分表后各个表中的数据再存储到一个表中,对总表进行分区处理,以供后期的一些查询操作。
本篇文章我们基于Alibaba的开源组件Canal进行搭建一套数据同步系统,将分表数据进行聚合。
针对Canal架构原理,前段时间在公司做这套数据同步系统时候总结过一篇水文Canal 架构解析水文 ,看热闹的看客可以移步去看下,作为开源的项目,个人还是建议看下源码,源码确实写的很不错的。
针对基础概念性的东西这里就不多说了,网上介绍基础概念以及搭建过程的东西还是很多的,以后有时间在介绍。
企业中经常canal做数据聚合,数据异构等,