笔者2013年接了一个资源管理咨询项目,负责该项目的实施管理,其中有几个月是组织几个开发厂家写迁移脚本,做数据迁移(从原有的多个系统中把数据同步过来),仅分享当时的经验。
前期先做基础数据梳理和映射确认,组织所有的厂商一起梳理区域、标准地址、局站等信息,并梳理统一命名原则,确认需要采集的数据来源及存在的关系(从资源系统、网管系统、号线系统、手工台账等获取)。
然后做字段确认,和哪个系统字段匹配,字段格式是否一致,新系统的数据格式是否可以更改。
然后写迁移脚本,对几个开发厂商简单分工,每个厂商负责写几个专业的迁移脚本,过程中有疑问,再做字段确认和答疑。
迁移脚本汇总与验证检查,让他们首先验证自己的迁移脚本是否可以迁移数据,然后再做交叉验证,对出现的问题进行讨论总结。
迁移脚本的更新与备份,平时都在客户提供的环境中进行数据验证及备份。但有一次用户服务器存储损害导致所有的脚本及备份数据丢失,后面费了很大功夫才从每个开发人员手里汇总迁移脚本,并又重新做了多轮验证。后期要求所有的开发厂商做异处备份,在多台服务器上进行备份,如有可能,在本地也存储一份。
做数据清洗时,数据的关联关系也被清洗掉,需要数据迁移后,在数据库中重新建立关联关系。
数据迁移后的核查,培训用户利用自定义导出功能,把需要核查的数据导出,按照一定的顺序进行核查确认,让他们对重复数据、残缺数据进行修改。
数据迁移(数据清洗)分享
最新推荐文章于 2024-08-07 09:24:33 发布