数据库表迁移的一些优化

最近在做数据库改密服务（响应国家号召 使用国产数据库），平时部门做数据库迁移都是使用DTS进行数据同步，由于这次涉及改密服务，所以采取了手动同步。

前提概要 首先这个是从adb 做一次全量数据同步 不需要考虑增量同步的场景 toB 端 特有的停机更新

首先简单讲一下分页的原理 分页查询优化

select * from  A  limit 10000,10;

因为要做的是表数据迁移 所以要拿出全部的数据 但是这条命令是全表扫描加上filesort 随着偏移量的增加，许多数据会被丢弃从而产生了浪费，所以我们需要用子查询来优化

select * from staff a, (select staff_id from staff  order by staff_id  limit 10000,10) b where a.id=b.id;

 对于子查询可以走索引 拿出id 交给外边的sql 从而避免了 数据丢弃的问题

事务合并，数据合并 可以看我上篇文章的总结。

生产者消费者拆分。

讲服务拆分成四个模块 read write encode error 

read 模块是负责从rds数据 读出数据

write数据库 是负责将 encode 加密服务 加密完成后的数据写入ob数据库

encode 负责调用第三方加密接口 将数据加密

error 负责处理错误的消息存入数据库中，为后续数据库完整同步做依据