为什么要进行数据迁移与修复
在日常工作开发中,随着我们产品不断迭代发展,我们希望在重构功能的同时,还需要保证在版本迭代之前操作数据保留并且变更得能够适应新的功能结构,这个时候往往会存在数据表的大量修改与变动,就是我们通常所说的 平滑升级。
代码中使用定时任务
在代码中使用定时任务来对数据库进行数据迁移与修复时,一般都会存在读取、更改、插入等操作,如果数据量很大,那么修复时耗会使得我们难以接受。
更糟糕的是如果我们系统使用到的是微服务架构,微服务之间的通信调用也存在着时间损耗,这里进一步使得时耗尽延长。
但如果使用的是shell脚本,速度将会大大提升,比如我们在代码中进行数据修复要花掉5分钟时间,使用脚本修复可以只需要2秒。
Mysql - 这里举例三个微服务:
需要被同步的微服务数据库 - 新表存在的服务:base_service
需要同步数据的 - 旧表存在的服务:devops_service,agile_service
如果要修复的数据在同一台服务器上,而且你只想导出部分字段到所需的表中,那么:
只需要连接上数据库,使用sql将数据查询出来再插入就可以了(这里,sql灵活多变,你可以根据自己的同步数据策略进行修改)
mysql -u$BaseDBUSER -p$BaseDBPASS -h $BaseDBHOST << EOF
use ${base_service};
insert into ${base_service}.${base_service_table_app}(id, name, code, organization_id, image_