最近在做数据库改密服务(响应国家号召 使用国产数据库),平时部门做数据库迁移都是使用DTS进行数据同步,由于这次涉及改密服务,所以采取了手动同步。
前提概要 首先这个是从adb 做一次全量数据同步 不需要考虑增量同步的场景 toB 端 特有的停机更新
首先简单讲一下分页的原理 分页查询优化
select * from A limit 10000,10;
因为要做的是表数据迁移 所以要拿出全部的数据 但是这条命令是全表扫描加上filesort 随着偏移量的增加,许多数据会被丢弃从而产生了浪费,所以我们需要用子查询来优化
select * from staff a, (select staff_id from staff order by staff_id limit 10000,10) b where a.id=b.id;
对于子查询可以走索引 拿出id 交给外边的sql 从而避免了 数据丢弃的问题
事务合并,数据合并 可以看我上篇文章的总结。
生产者消费者拆分。
讲服务拆分成四个模块 read write encode error
read 模块是负责从rds数据 读出数据
write数据库 是负责将 encode 加密服务 加密完成后的数据写入ob数据库
encode 负责调用第三方加密接口 将数据加密
error 负责处理错误的消息存入数据库中,为后续数据库完整同步做依据