数据迁移（数据清洗）分享

笔者2013年接了一个资源管理咨询项目，负责该项目的实施管理，其中有几个月是组织几个开发厂家写迁移脚本，做数据迁移（从原有的多个系统中把数据同步过来），仅分享当时的经验。
前期先做基础数据梳理和映射确认，组织所有的厂商一起梳理区域、标准地址、局站等信息，并梳理统一命名原则，确认需要采集的数据来源及存在的关系（从资源系统、网管系统、号线系统、手工台账等获取）。
然后做字段确认，和哪个系统字段匹配，字段格式是否一致，新系统的数据格式是否可以更改。
然后写迁移脚本，对几个开发厂商简单分工，每个厂商负责写几个专业的迁移脚本，过程中有疑问，再做字段确认和答疑。
迁移脚本汇总与验证检查，让他们首先验证自己的迁移脚本是否可以迁移数据，然后再做交叉验证，对出现的问题进行讨论总结。
迁移脚本的更新与备份，平时都在客户提供的环境中进行数据验证及备份。但有一次用户服务器存储损害导致所有的脚本及备份数据丢失，后面费了很大功夫才从每个开发人员手里汇总迁移脚本，并又重新做了多轮验证。后期要求所有的开发厂商做异处备份，在多台服务器上进行备份，如有可能，在本地也存储一份。
做数据清洗时，数据的关联关系也被清洗掉，需要数据迁移后，在数据库中重新建立关联关系。
数据迁移后的核查，培训用户利用自定义导出功能，把需要核查的数据导出，按照一定的顺序进行核查确认，让他们对重复数据、残缺数据进行修改。