“有备无患”方能“有条不紊” | 人大金仓智能迁移方案金融客户大规模自主可控升级实践...

随着金融机构数字化转型速度加快，系统自主可控升级的需求愈发强烈。某金融客户在升级进程中，面临着近百个A/B业务及内/外网办公系统国产化改造的艰巨任务。

人大金仓负责本项目数据库相关改造任务，周期10个月，于2020年9月启动，需在2021年7月底完成全部的改造升级工作。

2020年9月

项目启动 迅速开展需求整理

本项目特点如下：

系统多，数据量大：总计近100个系统需要迁移，涉及数据总量数十TB。

数据库类型各异：涉及各版本的Oracle、SQLServer等国外商用产品，也包含MariaDB、PostgreSQL等开源数据库。

项目周期短：周期为10个月，时间紧任务重。

金仓数据库实施团队于2020年9月末进驻用户单位信息中心，开始了紧张忙碌的项目需求整理阶段工作。

2020年10月

确定迁移策略 分批改造开始

根据系统涉及的数据量、复杂程度，遵循先易后难的原则，将项目分两批升级：

第一批，针对数据量可控、复杂程度不高的系统，占总量的80%左右。

第二批，针对数据量较大或复杂程度较高的系统。

第一批

使用KDMS快速采集评估系统的数据库使用情况，包括数据源类型、数据库规模、对象兼容情况、可自动化转换率、不兼容项等信息，并出具详尽评估报告。用于识别风险点、评估改造工作量及迁移成本等，确保项目可控。

经评估，大部分系统表超1000张，存储过程超200个，另外包括数量不等的触发器和Package等。其中结构最庞大的库超19000张表，600多个存储过程。

得益于金仓数据库KES对异构库的良好兼容性及KDMS的智能翻译转换能力，整体自动化转换率达95%。通过对剩下5%对象定义的人工转换及整体校验，各系统陆续完成数据库的结构迁移，耗时不长。

Tips

KDMS是什么？

KDMS是一款数据库智能迁移评估软件，被称为各数据库间的语言“翻译官”和对象“搬运工”。针对Oracle、SQLSever、MySQL/MariaDB、DB2等主流数据库提供向KES迁移的快速评估及翻译转换功能，帮助实施人员轻松完成各异构库到KES的结构迁移。

经第三方权威机构测试，KDMS可实现平均每分钟近13000数据库对象（主要是非表对象）的评估及翻译工作，约合每分钟21处理万行PLSQL代码。KDMS可极大缩短结构迁移时间，节省人力物力成本。

2021年02月

紧张有序 第一批应用迁移完成

第一批

应用的自助评估适配

在系统的数据库结构迁移完成后，即进入应用适配阶段，该部分工作主要由应用厂商主导，金仓实施团队以配合为主。

应用适配的难点是散布在代码中的SQL语句无法统一提取及精准改写。KDMS通过无侵入探针技术，实现对应用的动态SQL收集、评估并出具详尽评估及改写建议报告。

借助该报告，应用开发人员快速定位问题并进行针对性修改，加快适配工作进度。

数据的快速迁移落地

为保证海量数据的迁移性能，KDTS在任务分配模式、大表拆分、大对象迁移、并行读写等多个方面进行优化及创新，有效提升了迁移整体速度，并部分实现了迁移“自治”化。

得益于KDMS及KDTS的高性能表现，经过四个半月的不懈努力，本批系统迁移按时保质完成。

Tips

KDTS有多快？

在以往目中，KDTS实测38w表对象可22分钟完成创建，SAS机械盘的数据迁移超360GB/h，NVMe固态盘的数据迁移可达900GB/h。需强调的是，上述指标均为在包含创建索引等耗时操作在内的整体迁移完成后计算得出。

2021年03月

挑战升级 第二批应用迁移开始

第一批

系统上线

系统迁移完成后进入压测与调优阶段。得益于高效精准的迁移适配，并未遇到太多性能问题。经过双方通力合作，经过近两个月的时间，系统陆续完成割接上线并平稳运行。

第二批

在线迁移方案确定与实施

该批系统迁移面临的最大问题是数据量大而停服窗口时间短，在规定时间内常规迁移存在较大风险。例如某数据量TB级的系统给出的停服窗口为6小时（0：00-6：00），留给数据库迁移的时间实际只有4小时左右。

面对这类挑战，采用在线迁移方案，分四步完成：

指定截止标记（事务）备份源生产库并恢复至与源库同构的临时备库中。

使用KDTS以临时备库为源进行迁移，即保证数据完整性，又减少对源端性能影响。同时使用KFS分步骤增量同步，其源端连接源生产库，从截止标记开始向后解析生产库的增量日志，并将解析出的数据做本地缓存。

待KDTS迁移完成后，将KFS目标端连接至KES，KFS会自动将前期解析的缓存在KES中进行加载。

缓存全部加载后，KFS会继续进行新的增量数据的实时同步，直到KES与源生产库数据完全一致。此时可择机进行上层系统访问的路由切换，在线迁移全部完成。

只有最后一步会产生额外的停服时间，但切换操作相对简单可控，总体时间远小于4小时。

Tip

KFS是什么？

KFS是基于redo日志解析技术，面向数据同步、异地容灾、数据共享分发等相关场景的数据实时同步软件。支持多种异构数据源，提供快速增量数据压力下的实时同步能力。

经第三方权威机构测试，其源端日志解析速度可达256GB/h，目标端数据加载速度达830GB/h。

2021年05月

固化经验 第二批应用迁移加速完成

第二批

第二批系统数据库迁移完成。得益于第一批的适配经验，在此期间应用适配工作也已顺利完成。

2021年07月

全部系统上线 改造任务顺利完成

通过2个月的系统压测与性能调优，系统陆续完成了割接上线。

通过近10个月的努力，客户所有系统于今年7月份全部完成割接上线，运行平稳，陆续进入运维阶段。本次金融客户近百个系统规模的国产化升级项目建设圆满完成。

END

20年国产数据库的项目经验积累，人大金仓已总结提炼出了较为完备的应用系统迁移方法论，形成了鲜明特色的整体解决方案。经过本次近百个系统并行迁移的项目实践，金仓的迁移方案能力及产品质量得到进一步认证与提升。

解决客户在数据库自主可控升级过程中遇到的问题是我们现阶段的发力方向。未来，我们会在总结用户使用经验和问题的基础上，不断优化产品能力，提升用户体验，为国产数据库的高质量发展贡献力量，为以金融行业为代表的更多关键领域用户创造更大的应用价值。