传统业务公有云迁移避坑指南

本文分享了一次公有云业务迁移项目的经验,涉及数据库同步问题,如MySQL的DTS工具使用注意事项,建议保留较长时间的binlog以备增量同步。还提到了ES迁移需要注意版本差异,以及DNS切换时采用nginx代理确保平滑过渡。强调应用跨云迁移的复杂性和需要注意的问题,新钛云服作为云管理服务商提供专业服务。
摘要由CSDN通过智能技术生成


新钛云服已为您服务1038

目前国内很多企业已经在深入的使用公有云了。随着业务的发展,这些企业大部分会考虑做多云的双活或灾备以及根据云上产品功能和成本考虑从一家云迁到另一家云。

我司前几个月接了一个公有云业务迁移的项目,在项目中总结了一些经验,下面是我的总结,希望能帮助每个运维在遇到类似的问题时能快速解决。

数据库同步问题

数据库同步使用DTS工具来做的,目前主流的公有云都有各家的DTS工具,DTS的工具原理基本都是从源库binlog读取数据然后插入到目标数据库。但各家的DTS工具容错性还是相差比较大的。下面我就说说数据库同步碰到的那些坑。

1、数据库中的表字段要允许NULL

在MySQL 同步过程中出现 Error 3140: Invalid JSON text: "The document is empty." at position 0 in value for column,

原因是源库校验不严格。数据库中的字段要求为 NOT NULL,但是数据中存在值为 NULL 的数据。

有两个解决方法,根据需要处理:

(1)对源库中的数据进行修复,将所有值 NULL 的数据修正为正确的值 (这也符合业务逻辑需要)。

(2)对目标库中的表进行修改,将字段修改为允许为 NULL。例如表为 xxxx,字段为 total

ALTER TABLE `xxxx` CHANGE `total` `total` JSON NULL;

2、数据库源库binlog要保留时间久一点

在执行数据库同步的时候可能会碰到问题而导致需要重新启动做增量同步,但是有时这个同步是在晚上进行的,早上人为发现问题可能距离出现问题已经过去了好几个小时。

如果源库这个时候binlog只保留1~2个小时的话会导致用户在早上重启同步任务时找不到对应的binlog文件,从而只能再次做全量同步。建议源库binlog在同步时保留2~3天以上。

3、目标数据库磁盘空间建议是源库的2倍

在执行数据库同步的时候目标库除了会有大量的写入外还会有一些临时表及日志产生。如果两个库的磁盘空间一样大很容易产生目标库磁盘空间不足导致写入失败的问题。这样无疑会浪费很多的时间去处理。

所以建议是目标数据库磁盘空间先申请源库的2倍空间。如果费用相差不大迁完后就不要降了。

4、数据库同步时不能有计划任务

在同步数据库时DTS突然报出了一个主键ID错误的日志,同时同步也中断了。后来经过调研发现用户数据库有计划任务在跑导致的。所以在同步数据库时必须关闭针对数据库的计划任务。

ES迁移问题

ES迁移本身并没有什么问题,但是ES不同版本之间是有较大差异的,不仔细测试是发现不了一些隐藏的问题的。

客户碰到的ES问题是之前在XX云用的是ES低版本,默认分片为5。切换至XX云用的是ES 7版本,默认分片是1。

正常客户业务使用时需要根据业务去修改分片数,来适配业务。但客户并没有这么做导致了生产事故。帮客户去重建索引调整分片数后问题得到了解决。

DNS问题

迁移最后必定会经历域名的切换,域名切换覆盖全国和全世界时间都是不一定的,且不同的区域都会有一定的差异

客户就碰到了某个项目访问有问题的情况。我们的做法是,在原公有云入口部署nginx,只要还是访问到原nginx的都proxy_pass到新的公有云入口。这样就保证了不会有人访问到老环境的情况。

结论:应用跨云迁移,看似一件非常简单的事情,实则充满了很多未知的问题。这些问题可能是公有云产品造成的可能是业务代码造成的。

但无论是什么原因,新钛云服作为一家专业的云管理服务商都能很好的处理好这些问题,并在迁移过程中为客户梳理信息,优化架构和运维流程,为客户业务保驾护航。

云管理服务专家 新钛云服

新钛云服是专业的云管理服务商,秉持“客户第一”的服务理念,凭借专家级云管理服务能力和混合云管理平台,为处于数字化转型不同阶段的企业提供混合云场景下的IT运维服务和安全服务;让企业IT部门更专注于核心业务系统,高效率、低成本、低风险地实现数字化转型。

新钛云服动态

新钛云服荣膺第四届FMCG零售消费品行业CIO年会「年度数字化服务最值得信赖品牌奖」

新钛云服三周岁,公司月营收超600万元,定下百年新钛的发展目标

当IPFS遇见云服务|新钛云服与冰河分布式实验室达成战略协议

新钛云服正式获批工信部ISP/IDC(含互联网资源协作)牌照

深耕专业,矗立鳌头,新钛云服获千万Pre-A轮融资

新钛云服,打造最专业的Cloud MSP+,做企业业务和云之间的桥梁

新钛云服一周年,完成两轮融资,服务五十多家客户

上海某仓储物流电子商务公司混合云解决方案

点????分享

戳????在看

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值