【海量数据测试】大型项目中的海量数据迁移测试实践与方案

项目背景(某项目重构) 

      某应用很多联系人的信息重复情况，统一维护到欧若拉系统；并且进行根据相同的客户进行合并联系方式，排除很多客户冗余的情况。（个人理解）

数据分析与准备
线上异常数据处理，通常是在测试环境下面去验证数据迁移的逻辑和规则的正确性，那么必然我们需要对与线上的异常数据情况进行汇总和归类。比如线上数据存在电话号码存在小灵通(134432423424);一三五七八六二一；等特殊的异常数据情况进行分析
线上数据库的字符集判断；保证真实模拟线上数据迁移的字符集情况，一般情况下数据迁移是在老系统迁移新系统过程中就会有不同的字符集情况。建议开发不要再同一个库中进行迁移数据。
线上数据模拟的数量情况和脚本的性能问题，通常数据量是迁移的重要条件之一，一方面是需要技术经理和项目经理进行评估迁移的数据量是否满足线上迁移的条件，另一方面能够模拟迁移脚本的性能问题。
数据表结构检查，新系统迁移老系统会存在表结构长度不一致的情况，这类问题会出现在反迁的情况(反迁脚本是当新系统迁移的数据有更新的情况，则需要反迁脚本迁移回到新系统，保证新系统和老系统的数据一致性；数据迁移的两种情况：正迁(一次性迁移数据)，反迁(实时同步数据迁移))；通常反迁过程中会发现新系统的部分字段长度大于老系统的字段长度，就会引申部分数据截取的逻辑情况。
迁移的规则业务熟悉，对于QA来说，数据迁移不仅仅需要验证迁移的表关联和映射的关系，也需要通过测试脚本不断的通过不同的数据去验证迁移的业务规则，我这边举个联系人重构的迁移的例子：如当老表的姓名迁移到新表拆分为姓和名；(如果联系人姓名大于2个字符，判断最后两个汉字是不是长度为2的称呼，是的话，将这两位截取为称谓；如果联系人姓名等于2个汉字，判断是否最后1个汉字是否为长度为