数据迁移问题

最近被调到数据迁移组了，做的是数据迁移的任务。

主要的思想就是由源表迁移到中间表再迁出各个系统的迁出表。

由于数据的不规则性，码值映射的不完整，导致迁移多个任务困难。

主要问题：

（1）码值映射，主要采用的是一张Excel表格 老码值---新码值的映射关系，将这张表储存到数据库，每次修改更新一次数据库。

（2）为了方便映射，基于对业务的理解，将源表小表进行合并进行转换变成一张大的宽表方便处理中间表。

（3）对于不同系统可能需要的数据文件格式不一致，推荐使用txt，在使用过程中发现excel会自动对格式做变换，比如有些长度不一致的数据，会在最低位后面补0

（4）对于数据处理部分，需要根据业务人员理解进行分配系统，不同系统的表的依赖不同

（5）建立自动化工具，方便表的改动，模型的建立