摘要
随着云计算和互联网技术的发展,越来越多的企业接受将自身的IT系统放在公有云上,以节省企业的成本和提升运维效率。目前主流的云计算提供商有亚马逊云、微软云、阿里云、腾讯云、华为云、金山云等等。对于中大型企业,考虑到成本、数据安全、云产品质量和售后服务等多因素考虑,通常会选择将业务系统分散在不同的云上,同时利用多个云厂商的各自优势构建混合云的灾备系统。
本文选择华为云的云主机、云解析、数据库备份和迁移等方案,与其他云上已部署的业务系统,组建一个混合云的灾备系统。实验证明,本文所探讨的方法,能够满足大部分网站的容灾和性能需求。
本文所配置的主站点(阿里云)和备站点(华为云),仅作为技术探讨,不代表推荐或攻击哪个云平台。云平台的选型是综合品牌、商务、技术、服务、安全、生态等等多因素组合的结果,本文不做探讨。
关键字:容灾、备份、云主机ECS、镜像、负载均衡、弹性伸缩、域名解析DNS、虚拟私有网络VPN、专用网络VPC、mysql数据库、数据库迁移、wordpress博客
目录
第一章 绪论
1.1 研究背景
企业数据的安全性和实效性方面要求越来越高,可是不可避免的会遇到系统崩溃,员工恶意删除资料,黑客攻击,办公大楼漏水停电,设备损坏等等问题。当这些问题出现后经常会对企业的正常运作带来很大的影响,甚至会使整个企业的运作完全停下来,通过备份,容灾和高可用性等等办法可以使公司避免以上的这些问题。
备份系统就是通过硬盘,磁带,公有云平台等媒介将企业整个运行系统或文件等存储到存储媒介上,以备不时之需。容灾系统是指建立一个异地的数据系统,为了保护数据安全和提高数据的持续可用性,企业要从RAID保护、冗余结构、数据备份、故障预警等多方面考虑,将数据库或整个系统的必要文件复制到存储设备的过程。
1.2 研究现状
国际标准SHARE 78将容灾系统定义成七个层次,这七个层次对应的容灾方案在功能、适用范围等方面都有所不同,所以用户选型应分清层次。
面对各种可能的灾难,企业需要方便、灵活地同步基于异构环境下驻留在不同数据库中的数据,这就需要建设一个对各种情况都可以抵御或者化解的本地和异地的容灾系统。但现在,一些计算机信息系统对于容灾机制的考虑还有欠缺,不少计算机信息系统只是做了简单的本地磁盘的不同分区或者是相同系统上不同磁盘的数据备份,只是严格意义上的数据备份系统,称不上容灾系统,例如数据库系统中常用的镜像备份,也就是文件拷贝方式;基于操作系统文件系统复制的方式:以及基于高端联机存储设备(磁盘阵列)之间的数据写操作同步的方式等。在一般灾难时,可以在一定意义上保证数据的完整性,但很难保证用户数据的可靠性和安全性,更不用说能向用户提供透明的不间断服务了。
真正的容灾必须满足三个要素:先是系统中的部件、数据都具有冗余性,即一个系统发生故障,另一个系统能够保持数据传送的顺畅;其次,具有长距离性,因为灾害总是在一定范围内发生,因而充分长的距离才能够保证数据不会被一个灾害全部破坏;第三,容灾系统要追求全方位的数据复制,也称为容灾的"3R"(Redundance、Remote、Replication)。
而国际标准SHARE 78 对容灾系统的定义有七个层次:从最简单的仅在本地进行磁带备份,到将备份的磁带存储在异地,再到建立应用系统实时切换的异地备份系统,恢复时间也可以从几天到小时级到分钟级、秒级或零数据丢失等。目前针对这七个层次,都有相应的容灾方案,所以,用户在选择容灾方案时应重点区分它们各自的特点和适用范围,结合自己对容灾系统的要求判断选择哪个层次的方案。
0级:无异地备份
0等级容灾方案数据仅在本地进行备份,没有在异地备份数据,未制定灾难恢复计划。这种方式是成本最低的灾难恢复解决方案,但不具备真正灾难恢复能力。
在这种容灾方案中,最常用的是备份管理软件加上磁带机,可以是手工加载磁带机或自动加载磁带机。它是所有容灾方案的基础,从个人用户到企业级用户都广泛采用了这种方案。其特点是用户投资较少,技术实现简单。缺点是一旦本地发生毁灭性灾难,将丢失全部的本地备份数据,业务无法恢复。
1级:实现异地备份
第1级容灾方案是将关键数据备份到本地磁带介质上,然后送往异地保存,但异地没有可用的备份中心、备份数据处理系统和备份网络通信系统,未制定灾难恢复计划。灾难发生后,使用新的主机,利用异地数据备份介质(磁带)将数据恢复起来。
这种方案成本较低,运用本地备份管理软件,可以在本地发生毁灭性灾难后,恢复从异地运送过来的备份数据到本地,进行业务恢复。但难以管理,即很难知道什么数据在什么地方,恢复时间长短依赖于何时硬件平台能够被提供和准备好。以前被许多进行关键业务生产的大企业所广泛采用,作为异地容灾的手段。目前,这一等级方案在许多中小网站和中小企业用户中采用较多。对于要求快速进行业务恢复和海量数据恢复的用户,这种方案是不能够被接受的。
2级:热备份站点备份
第2级容灾方案是将关键数据进行备份并存放到异地,制定有相应灾难恢复计划,具有热备份能力的站点灾难恢复。一旦发生灾难,利用热备份主机系统将数据恢复。它与第1级容灾方案的区别在于异地有一个热备份站点,该站点有主机系统,平时利用异地的备份管理软件将运送到异地的数据备份介质(磁带)上的数据备份到主机系统。当灾难发生时可以快速接管应用,恢复生产。
由于有了热备中心,用户投资会增加,相应的管理人员要增加。技术实现简单,利用异地的热备份系统,可以在本地发生毁灭性灾难后,快速进行业务恢复。但这种容灾方案由于备份介质是采用交通运输方式送往异地,异地热备中心保存的数据是上一次备份的数据,可能会有几天甚至几周的数据丢失。这对于关键数据的容灾是不能容忍的。
3级:在线数据恢复
第3级容灾方案是通过网络将关键数据进行备份并存放至异地,制定有相应灾难恢复计划,有备份中心,并配备部分数据处理系统及网络通信系统。该等级方案特点是用电子数据传输取代交通工具传输备份数据,从而提高了灾难恢复的速度。利用异地的备份管理软件将通过网络传送到异地的数据备份到主机系统。一旦灾难发生,需要的关键数据通过网络可迅速恢复,通过网络切换,关键应用恢复时间可降低到一天或小时级。这一等级方案由于备份站点要保持持续运行,对网络的要求较高,因此成本相应有所增加。
4级:定时数据备份
第4级容灾方案是在第3级容灾方案的基础上,利用备份管理软件自动通过通信网络将部分关键数据定时备份至异地,并制定相应的灾难恢复计划。一旦灾难发生,利用备份中心已有资源及异地备份数据恢复关键业务系统运行。
这一等级方案特点是备份数据是采用自动化的备份管理软件备份到异地,异地热备中心保存的数据是定时备份的数据,根据备份策略的不同,数据的丢失与恢复时间达到天或小时级。由于对备份管理软件设备和网络设备的要求较高,因此投入成本也会增加。但由于该级别备份的特点,业务恢复时间和数据的丢失量还不能满足关键行业对关键数据容灾的要求。
5级:实时数据备份
第5级容灾方案在前面几个级别的基础上使用了硬件的镜像技术和软件的数据复制技术,也就是说,可以实现在应用站点与备份站点的数据都被更新。数据在两个站点之间相互镜像,由远程异步提交来同步,因为关键应用使用了双重在线存储,所以在灾难发生时,仅仅很小部分的数据被丢失,恢复的时间被降低到了分钟级或秒级。由于对存储系统和数据复制软件的要求较高,所需成本也大大增加。
这一等级的方案由于既能保证不影响当前交易的进行,又能实时复制交易产生的数据到异地,所以这一层次的方案是目前应用最广泛的一类,正因为如此,许多厂商都有基于自己产品的容灾解决方案。如存储厂商EMC等推出的基于智能存储服务器的数据远程拷贝;系统复制软件提供商VERITAS等提供的基于系统软件的数据远程复制;数据库厂商Oracle和Sybase提供的数据库复制方案等。但这些方案有一个不足之处就是异地的备份数据是处于备用(Standby)备份状态而不是实时可用的数据,这样灾难发生后需要一定时间来进行业务恢复。更为理想的应该是备份站点不仅仅是一个分离的备份系统,而且还处于活动状态,能够提供生产应用服务,所以可以提供快速的业务接管,而备份数据则可以双向传输,数据的丢失与恢复时间达到分钟甚至秒级。据了解,目前Goldengate公司的全局复制软件能够提供这一功能。
6级:零数据丢失
第6级容灾方案是灾难恢复中最昂贵的方式,也是速度最快的恢复方式,它是灾难恢复的最高级别,利用专用的存储网络将关键数据同步镜像至备份中心,数据不仅在本地进行确认,而且需要在异地(备份)进行确认。因为,数据是镜像地写到两个站点,所以灾难发生时异地容灾系统保留了全部的数据,实现零数据丢失。
这一方案在本地和远程的所有数据被更新的同时,利用了双重在线存储和完全的网络切换能力,不仅保证数据的完全一致性,而且存储和网络等环境具备了应用的自动切换能力。一旦发生灾难,备份站点不仅有全部的数据,而且应用可以自动接管,实现零数据丢失的备份。通常在这两个系统中的光纤设备连接中还提供冗余通道,以备工作通道出现故障时及时接替工作,当然由于对存储系统和存储系统专用网络的要求很高,用户的投资巨大。采取这种容灾方式的用户主要是资金实力较为雄厚的大型企业和电信级企业。但在实际应用过程中,由于完全同步的方式对生产系统的运行效率会产生很大影响,所以适用于生产交易较少或非实时交易的关键数据系统,目前采用该级别容灾方案的用户还很少。
1.3 研究意义
本文结合工作和兴趣需要,通过搭建一个基于混合云的容灾备份的博客系统,进行研究在华为云的基础上,有哪些手段可以实现上述7种容灾等级的效果。本文仅对技术进行探讨,不涉及因部署容灾系统而产生的额外成本分析。
常见的容灾和备份的架构如下所示:
第二章 需求分析
整体需求包括:主站点的数据可通过同步或异步方式备份到备站带点、多云平台之间支持业务层负载均衡、云数据中心内部弹性伸缩云服务器、多数据中心之间通过互联网/专线方式连接。
2.1 数据备份和恢复
- 多个云平台之间,可通过云主机镜像导出导入功能,降低备份站点的部署工作量。
- 多个云平台之间,可通过手工或云服务方式,实现数据库的相互备份。
- 当主数据库宕机后,支持主站点的业务系统访问备数据库,来恢复业务。
- 当主数据库宕机后,支持用备份数据库的数据恢复到原数据库。
2.2 多个云平台之间的业务负载均衡
- 支持将对域名的访问流量分发到多个云平台上。
- 支持可设定权重方式来控制不同云上的访问流量比例。
- 云平台内的服务器,可根据访问量自动增加服务器和释放服务器。
2.3 云数据中心内部弹性伸缩服务云服务器
- 可设置云服务器的监控指标,包括CPU利用率、内存利用率、带宽、响应时间等。
- 当业务压力处于高水位时,自动增加云主机。
- 当业务压力处于低水位时,自动释放云主机。
2.4 多个云平台之间网络互通
- 支持通过互联网将多云之间互联。
- 支持通过VPN专线将多云之间互联。
第三章 相关技术
3.1 云主机ECS介绍
云服务器Elastic Compute Service(ECS)是华为云提供的一种基础云计算服务。使用云服务器ECS就像使用水、电、煤气等资源一样便捷、高效。无需提前采购硬件设备,而是根据业务需要,随时创建所需数量的云服务器ECS实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。如果不再需要云服务器,也能随时释放资源,节省费用。
下图列出了ECS涉及的所有资源,包括实例规格、块存储、镜像、快照、带宽和安全组。可以通过 云服务器管理控制台 或者 华为云ECS资源。
3.2 虚拟机局域网VPC介绍
专有网络VPC(Virtual Private Cloud)是基于各家云平台构建的一个隔离的网络环境,专有网络之间逻辑上彻底隔离。
专有网络是独有的云上私有网络。可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等,可以在VPC中使用华为云资源如ECS、RDS、ELB等。可以将专有网络连接到其他专有网络或本地网络,形成一个按需定制的网络环境,实现应用的平滑迁移上云和对数据中心的扩展。
3.3 云数据库MySQL介绍
关系型数据库(Relational Database Service,简称RDS)是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。关系型数据库服务具有完善的性能监控体系和多重安全防护措施,并提供了专业的数据库管理平台, 让用户能够在云中轻松的进行设置和扩展关系型数据库。通过华为云关系型数据库服务的管理控制台,用户几乎可以执行所有必需任务而无需编程,简化运营流程,减少日常运维工作量,从而专注于开发应用和业务发展。
本文研究的备份站点选择华为云,华为云RDS支持三种数据库引擎:MySQL、SQL Server、PostgreSQL。
3.4数据库复制服务DRS介绍
数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。您可以通过DRS快速地解决多种场景下数据库之间的数据流通问题,以满足数据传输业务需求。
DRS支持的关键场景包括:
(1)、云下数据库迁移上云
在云上创建数据库后,经常面临云下数据库迁移上云的场景。通过DRS,能够简单完成云上数据库迁移上云。在迁移过程中,DRS能够最大限度地缩短业务系统中断时间,降低对业务影响。
- 、跨云平台数据库迁移
DRS支持将其他云数据库的数据在线迁移至关系型数据库(Relational Database Service,简称RDS)或者文档数据库服务(Document Database Service, 简称DDS)。
(3)、VPC网络内数据库迁移
通过DRS,能够将自行搭建在弹性云服务器(Elastic Cloud Server,简称ECS)上的数据库,在线迁移至RDS或则DDS。
3.5 专线VPN介绍
VPN网关是一款基于Internet,通过加密通道将企业数据中心、企业办公网络、或Internet终端和云平台专有网络(VPC)安全可靠连接起来的服务。华为云VPN网关提供IPsec-VPN连接。
VPN网关有以下优势:
安全:使用IKE和IPsec协议对传输数据进行加密,保证数据安全可靠。
高可用:采用双机热备架构,故障时秒级切换,保证会话不中断,业务无感知。
成本低:基于Internet建立加密通道,比建立专线更便宜,快速构建混合云。
配置简单:开通即用,配置实时生效,快速完成部署。
目前主流的云平台均提供硬件VPN设备,可靠性和性能上得到保障。
如果是个人用户或小微企业,亦可考虑使用云市场上经过华为认证的软件VPN来实现专线功能。例如华为云市场的严选商品VPN:Array SSL VPN免费版 或 奕锐云安全接入VPN系统
3.6 云解析DNS介绍
云解析服务(Domain Name Service,DNS)提供高可用、高扩展的权威DNS服务和DNS管理服务,把人们常用的域名或应用资源转换成用于计算机连接的IP地址,从而将最终用户路由到相应的应用资源上。
本文通过阿里云解析实现网站流量的负载均衡,可灵活调整网站的访问流量按不同比例分发到多个云平台。