数据迁移的思维

我经历真正的两个次数据迁移，而第二次有幸以自己为主导的数据迁移，从这两次的数据迁移中我学到了已下几点仅供参考

如果是线下数据迁移到线上来

1：确认哪些表需要迁移 。
2：确认咨询excel提取需要的信息（包含excle数据是否完整）。
3：通过plsql Developera/Navicat Premium导入数据库->映射到初始表
4: 把需要迁移的业务数据表->映射一个完整的业务中间表（字段一样）
5：编写sql把（映射的初始表）->业务中间表（要考虑 系统已有的数据和线下迁移的数据有无冲突）
6：到中间节点，淡定，合理分人员，修改sql
7：*迁移的sql 要分文件，每种sql语句 insert/update 分类出来（先后执行要明确）
8：写好上生成后的检查sql语句。
9：上线后一定要关注迁移数据的重要节点。

如果是线上多个系统不同的数据库（复杂的业务数据）迁移到一个新的系统并且是新的表

1:考虑用什么工具对不同数据库进行迁移（SQLServer,oracle -> mysql）
解：怎么处理不同的数据库迁移到同一数据库中，这时需要调研用什么工具，如果有dba可以找他们沟通。
我这里用的是ogg 让dba通过oracle的ogg进行数据的同步（包括增量数据的同步）。

2:确认迁移的数据库需要哪些表要迁移
解：1、这个可以找熟悉要迁移目标系统的人进行咨询
2、如果没有可以找产品从前端往后端进行找表（这种方法容易出现漏表问题）

3:确认哪些字段需要迁移
解：通过已找到的表对目标系统建表进行字段的对应，如果有不确定的字段要及时找产品沟通

4:如果是不通的库进行迁移，如不同的库迁移到对应的mysql库中，最好把每个库都分开建在mysql中

5:通过sql加工吧数据从不同的库中导入到目标库
1：对应的查询条件进行，新建索引或联合索引
2：如果要导的sql有left join 和子查询出现查询慢的问题，可以把子查询和left join单独拿出，通过 update字段来进行修改中间表的方式进行导库
具体操作如下 1:先建一个中间表与主体sql一样。
2:先把主体数据导入中间表
3:再进行修改个别字段

6:如果发现迁移时间太慢啦，数据量天大，可以进行时间分割，按时间段来进行数据迁移。

7:个别系统，可能要考虑分段数据迁移，并且也要关注数据的变化，通过存储过程来进行不能数据的监控等等