容灾/备份/迁移
文章平均质量分 93
工匠小能手
顺境时善待他人,逆境时善待自己
展开
-
【容灾演练】双机房容灾切换演练笔记
【背景】近日参与了xx客户的主备双机房演练,日常流量承接在主机房。容灾演练时,将流量切换到备机房,验证备机房是否能正常工作。【网络架构】关键技术点:1、主备机房流量切换通过公网DNS进行切换。切换速度取决于DNS缓存更新的速度,三大运营商可能需要半小时。一些云计算厂商,如阿里云的商业DNS切换速度更快,据说是分钟级甚至秒级。2、手机本身也有dns缓存,最简单清缓...原创 2020-01-01 11:19:45 · 2521 阅读 · 0 评论 -
【学习笔记】异构数据源之间的数据同步工具-DataX
【背景】近期一个项目涉及Oracle和阿里巴巴的数据库OceanBase之间数据同步,需要一个工具来实现2种数据源之间的数据同步方案,客户需求是离线同步即可,刚好DataX是开源的,能够满足这个需求。【信息来源】这个博客写得非常好。手打copy一份,加深自己的印象。https://www.cnblogs.com/jiangbei/p/9430476.htmlDataX是什么...原创 2019-11-04 21:34:28 · 1406 阅读 · 0 评论 -
【容灾心得】浅谈业务补偿
【背景】设计一个十全十美的容灾方案,在技术和成本上是非常大的挑战,因此可以考虑服务降级和业务补偿。场景:Redis、Memcache、OCS(阿里云产品)通常用户缓存用户登录信息,这样使得用户不用频繁登录系统。在容灾切换到新的机房后,连接信息通常会失效,如果考虑缓存全部自动同步到备机房,技术难度较大。解决方案:业务支持幂等重试,即重试时也会获得相同的结果。...原创 2019-10-29 20:15:07 · 297 阅读 · 1 评论 -
【学习笔记】容灾场景下涉及常见的数据类型
【背景】近期基于阿里云和蚂蚁的产品做容灾方案,最难处理的是数据,因此整理一下涉及的数据类型,做个学习笔记。不对的地方,持续纠正。常见的数据存储类型 阿里云产品 蚂蚁产品 开源产品 说明 OTS -- hbase 表格存储,列式存储,HBase在物联网、车联网、用户画像、对象存储、AI、Feeds、GIS等场景有广泛应用 OSS -- ...原创 2019-10-27 18:08:13 · 305 阅读 · 0 评论 -
【容灾架构】淘宝网/支付宝 异地多活 架构原理学习笔记
【学习背景】最近在看一本书《蚂蚁金服-科技金融独角兽的崛起》,正看到第七章“技术攻坚”简单介绍了一下支付宝的架构从第一代的烟囱架构、第二代的分布式架构,第三代的云计算架构,其中有个词“异地多活”出现了一次,但没有详细描述。之前接触的容灾方案,顶多就是两地三中心的双活架构+异地备份,特地从一些公开的资料中尝试学习一下阿里巴巴“异地多活”的架构是什么样的?【为什么两地三中心架构满足不...原创 2019-03-12 22:05:32 · 2283 阅读 · 0 评论 -
【云主机迁移原理】华为云主机迁移服务SMS的原理分析
【背景】前几天给一个客户演示华为云主机迁移工具SMS时,迁移脚本提示源主机上没有rsync工具,导致脚本启动失败。由于华为云官网提供的迁移工具是编译后的可执行文件,无法看到工具的源代码。通过这个提示推测,应该是利用rsync来实现文件级的迁移能力。【主机迁移工具原理】1、通过华为云公开的SMS迁移文档 https://support.huaweicloud.com/sms_faq...原创 2019-03-11 23:28:04 · 2470 阅读 · 2 评论 -
【主机迁移案例】使用华为云主机迁移工具SMS整机迁移线下机房的主机
【案例背景】有个客户在自建机房的服务器已经运行了将近10年,早就超过服务的维保周期(3-5年),考虑将服务器上的业务搬迁上云,选择一家技术服务比较强的云厂商,因此尝试用华为云进行测试整机迁移工具SMS。迁移过程遇到几个常见的问题,总结一下。https://www.huaweicloud.com/product/sms.html【迁移过程】整体操作步骤参考:https://blo...原创 2019-03-06 22:14:35 · 3080 阅读 · 0 评论 -
【云存储容灾学习笔记】体验华为云存储SDRS容灾服务
【学习背景】有客户需要做容灾,刚好看到华为云有一项服务“存储容灾服务SDRS”正在免费公测,因此准备做一个DEMO来给客户做演示。【学习思路】申请开通一台云主机。 在云主机上生存一些测试文件。 申请开通“存储容灾服务SDRS”服务,配置存储容灾服务SDRS,模拟云主机的原磁盘故障,将磁盘切换到容灾的硬盘上。 检查测试文件正常,内容一致。【操作步骤】1、之前已经在华为云上购买...原创 2019-01-17 23:21:26 · 2002 阅读 · 1 评论 -
【容灾实战】体验华为云对象存储迁移工具OMS迁移其他云平台上的对象存储文件
【实验目的】据说华为云对象存储OMS服务的复制功能挺牛逼的,能够在线复制其他云上的对象存储文件,体验一下效果如何。对象存储适合存放非结构化数据,如图片、视频、文件等等。用文本文件测试一下效果。【思路】1、在腾讯云对象存储COS上创建一个标准存储桶。2、通过python写一个爬虫脚本,爬取糗事百科网站上第一页的笑话,每个笑话作为一个文件,调用腾讯的SDK接口自动存放到腾讯云对象存储COS...原创 2018-11-19 22:11:24 · 1925 阅读 · 1 评论 -
【容灾实战】体验华为云主机迁移工具SMS迁移其他云平台上的主机业务
【实验目的】最近发现华为云上新推出一项服务“主机迁移服务”,特体验一下在阿里云上的云主机是不是能够在线复制到华为云的主机上。【思路】1、在阿里云主机上部署一个简单wordpress网址,并发布一篇博客,记录下数据库中的内容。2、验证全量复制功能:使用华为云的“主机迁移服务”,测试将主机内容复制到华为云。验证wordpress是否迁移过来,数据库内容是否也迁移过来。3、验证增量复制功能:...原创 2018-11-13 22:26:36 · 2992 阅读 · 0 评论 -
【容灾实战】多云平台混合部署的双活容灾网站系统
摘要随着云计算和互联网技术的发展,越来越多的企业接受将自身的IT系统放在公有云上,以节省企业的成本和提升运维效率。目前主流的云计算提供商有亚马逊云、微软云、阿里云、腾讯云、华为云、金山云等等。对于中大型企业,考虑到成本、数据安全、云产品质量和售后服务等多因素考虑,通常会选择将业务系统分散在不同的云上,同时利用多个云厂商的各自优势构建混合云的灾备系统。本文选择华为云的云主机、云解析、数据库备...原创 2018-09-20 21:56:49 · 6315 阅读 · 1 评论