中间件
文章平均质量分 88
Briant996
拒绝八股,实践出真知
展开
-
mysql数据同步到elasticsearch数据解决方案
1.分库分表后多关联或者多条件查找效率低下,例如2b场景的查询,导出等需要多条件查询,继续用分库分表话效率低下。2.数据量太多需要转移非关系型数据库elasticsearch存储3.其他数据转移场景等这两种场景都涉及到mysql数据同步到es数据解决方案,解决起来分总体两步走,一是存量数据的同步,二是增量数据的同步。这里利用的是canal的方案去同步数据原创 2022-12-11 21:24:30 · 2407 阅读 · 1 评论 -
mysql与缓存数据不一致解决-canal+mq方案
利用canal+mq的解决业务上缓存不一致的方案,对于一些常用场景、跨多系统还是很方便的,吞吐量和延时性指标均不错,适用于高并发项目。并且能够做一次统一的缓存控制,有利于整理系统内无效代码,提高代码精简度。同时,缓存一致性方便基本不能够达到强一致,在考虑时需要将实际业务代入,思考一个全面的方案。原创 2022-11-24 22:36:39 · 1338 阅读 · 0 评论 -
canal监听mysql实践
canal的原理是借助mysql主从复制的协议,模拟从数据库拉取增量Binlog日。canal通过Instance作为一个从数据库实例,客户端连接实例后有序消费增量的Binlog日志。有几点特别注意的是,一是canal的生产消费模型是一个带指针的数组,分别指向生产位置、消费位置和ack位置,来控制消费和生产的队列。二是Binlog的配置需要时row格式,canal的解析针对row格式做了适配。三是canal通过client竞争的方式保证消费时只有一个client消费,保证binlog的有序性。四是,生产端数原创 2022-11-14 23:52:03 · 1267 阅读 · 0 评论