存储总量达 20T 的 MySQL 实例，如何完成迁移？

存储总量达 20T 的 MySQL 实例，如何完成迁移？

cloud.tencent.com  1-4

王亮，腾讯云高级工程师。2010 年加入腾讯，曾负责腾讯社交产品 CDN 图片类业务，动态加速业务的运维工作。现负责数据库产品的解决方案工作。

某国内大型游戏开发商有超过 130 个 IDC 部署 MySQL 实例，存储总量达 20T。因业务需要，将全部实例迁移到 腾讯云 CDB for MySQL。腾讯云数据库团队为保证业务迁移顺利进行，对迁移流程，工具进行了前期的调查研究，并对过程中发现的 4 大问题进行及时解决，以下是实际迁移经验分享：

目前开发商上云（外部 MySQL 迁移到 CDB）提供多种方案，其中开发商的 MySQL 实例有外网 IP 的可以直接使用腾讯云数据库迁移工具完成迁移（其他的迁移方法参见 链接 本次迁移任务中该开发商的所有 MySQL 实例均有外网代理 IP 供使用，故直接选用迁移工具完成数据导入。

迁移工具的基本原理：通过待迁移实例提供的高权限帐号获取源实例基本的 MySQL 实例配置，并同步到目标 CDB 实例；通过 mysqldump 直接将源实例导出传输到 CDB 实例后导入；源数据库实例和目标 CDB 建立主从关系同步新数据。其中 CDB 实例与源 IDC 之间通过 NAT 方式以一台带外网的服务器为中转发起通信。

在 腾讯云数据库控制台页面 根据引导建立迁移任务；在后台管理页面观察迁移任务后台日志等。

任务开始运行后检测代理机器流量变化，CDB 的写入等数据展示

知识点：如何为测试数据库产生较大的数据量。这里推荐一个工具 mysql_gen_data。产生测试数据并导入到 MySQL 的过程如下：

后台与腾讯云管理台查看本次测试任务，迁移成功完成。

由于本次迁移的开发商将使用他们自建 IDC 的从机向 CDB 迁移数据，简单关系如下图，之前没有使用迁移工具进行过类似操作，故进行本次测试。

知识点：如何配置 MySQL 的主从关系。测试的 MySQL 主从的配置如下：（主 MySQL）

后台与腾讯云管理台查看本次测试任务，迁移成功完成。

开发商在经过相关测试后，一期计划 15 个实例并发迁移到 CDB，每天总共产生约 100G 的 binlog。由于之前迁移工具没有大并发使用，且单日有较大数据更新，故提前测试用户场景。测试的基本架构如下图：在一个服务器上开启 15 个 MySQL 实例映射到不同端口，15 个 MySQL 实例同时和 15 个 CDB 实例建立主从，并发起迁移任务。

知识点：如何在一台服务器上创建多个 MySQL 实例？这里使用的 MySQL 自带的 mysqld_multi 工具，其实这只是一个 perl 脚本，开启多实例配置如下（/etc/my.conf）可以视内存大小，开多个 mysqld 的配置项：

然后使用 mysqld_multi start 1-4 启动配置项里面的对应数量实例即可。启动多个 MySQL 实例如图：

通过定时 update 对应数据库实例的数据，产生较大量的 binlog，单次 update 产生 700Mbinlog，每 2 小时执行一次，每天产生 7001215=126G.简单代码如下：

使用 数据库迁移工具 建立 15 个迁移任务，控制台和后台检查均迁移成功：

同时为了检验大量 binlog 情况下数据完整性，写了简单脚本定时检查数据是否有更新，脚本如下：（这里经过测试发现可以通过广州跳板机直接连接 CDB 实例的 masterIP，故直接在广州跳板机脚本拉取 IDC 更新数据，同时对比 CDB 实例数据，写入日志）

通过校验日志可以看到，数据更新均成功完成。

以上我方内部测试完成后，开发商自行进行了 3 次迁移，相关数据如下：

某次迁移的带宽表现。

由于开发商出口带宽只有约 500Mbps，经过测试发现迁移瓶颈主要出现在带宽限制上。实际并发时带宽大小待二期迁移时确认。

现象：如图所示，开发商在迁移过程中出现 proc 表无法迁移的现象

ERROR:Can’t load from mysql.proc. The table is probably corrupted

解决：经 CDB 开发同事确认跨版本迁移的 proc 表因字段定义不同存在异常，发布版本跳过 proc 表解决。

现象：迁移任务出现错误，无法迁移存储过程，binlog 追加失败

errno:1049:Error ‘Unknown database ‘xxxx’on query.

解决：原因为本次迁移选定了只迁移某个数据库，迁移过程中新建了一个数据库，并开启 binlog，导致 CDB 拉到的 binlog 有新数据库信息，和迁移数据库不匹配。解决方法为迁移过程不要出现 DDL 操作。

凡事预则立不预则废。正是因为客户在迁移前我们有多项功能测试，性能测试和边界条件测试的预备，使得在正式数据迁移时未出现数据不一致、现网运营切换故障等任何异常情况。为现网大规模的数据库实例迁移积累了经验。截止目前，客户逾 130 个 MySQL 实例已顺利迁移到 腾讯云 CDB 并开启现网运营。基于这样的经验，我们有能力也有信心为腾讯云用户提供更加优质高效的数据存储迁移服务。