赞的心路历程

业务背景可以详见上一篇文章：通过kafka,canal进行数据异构同步的一套技术方案_赞的心路历程-CSDN博客2021年10月25日开始，业务大爆发，数据量激增 ，到了28日zabbix监控显示差不多堆积了90万的消息通过skywalking查看消费者的消费吞吐量并没有异常，是业务数据大爆发，造成了日数据增量成倍增加，消费不及时，造成了消息堆积。逐步排查消费瓶颈在何处：将涉及到的服务资源按，kafka，消费者，目标数据库的cpu,内存，硬盘，带宽，逐一排查；首先

业务背景说明：本公司有一个业务场景是需要从A数据库异构同步至B数据库，在B数据库进行一些逻辑统计查询操作，大致如下图：当时设计的技术架构如下：第一步：通过canal监听A库的binlog日志，将binlog日志信息发送至kafka消息队列第二步：部署由纯java编写的canal-kafka工程，消费kafka消息，异构原始数据，落B库，canal-kafka可以多节点分片部署该方案咋一看可能存在一些问题，如同步性能如何，sql执行顺序问题如何保证，下面一一解答.

为何使用消息中间件：1：复杂系统的解耦  2：复杂链路的异步调用  3：瞬时高峰的削峰处理使用消息中间件带来的缺点：1：系统可用性降低（万一MQ突然挂掉） 2：系统稳定性降低（消息丢失，消息重复，系统宕机导致的消息积压）3：分布式一致性问题 生产者发送成功 消费者消费失败   优点 缺点 ActiveMQ  老牌消息中间件 没法确认ActiveMQ可以支撑互...