企业数据备份,需要多少容量和性能满足?

原创 2016年08月29日 21:49:49


ICT架构师技术交流(微信号ICT_Architect)

分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。

数据备份,需要多少容量和性能满足?

在备份项目中,除了选择合适的备份软件,还要考虑存储、备份服务器、存储策略和配置等。关于备份组网、架构和备份软件我们前面已经讨论了,今天我们重点讨论备份存储容量和性能计算。

从备份组网图中我们可以看出,生产存储和备份介质存储的容量、性能都是要在方案设计时计算,当然大部分客户会分步先建设生产系统,然后在考虑建设灾备,但无论如何备份介质存储的配置,需要结合备份策略、网络和生产存储需求来匹配。

数据备份,需要多少容量和性能满足?

下面我们假设生产存储已经建设完成,我们只需考虑备份介质存储的容量和性能。假设生产存储需要20TB的数据需要备份(暂时业务类型不考虑,目前大多数备份软件都针对不同应用提供Agnet,所以主流应用都可以支持),考虑一年的备份,备份策略是每份数据保留3个月,每天一增备、每周一全备(3个月内,共有14个全备副本、77个增备副本,如果大家计算出来不是这个值,可能还有些细节你还不了解,可以私聊我),备份介质存储所要提供的容量一定要保证可以存储这么多的数据副本。

容量计算方法

如果按照前端容量计算,在一年的第4个季度需要备份的业务量(数据年增长率按照40%计算)就达到了28T,那这些增量、全量副本就需要按照这个数字来计算容量,计算下来全量的存储你容量是28*14,增量的存储容量是77*0.01(0.01是假设的日增量)。

数据备份,需要多少容量和性能满足?

当然为了节约存储容量,我们可以选择采用备份软件或VTL的重删功能,重删率也随着备份业务类型的不同而不同,再次我们假设全量副本重删比是10:1,增量副本的重删比是1.5:1(增量数据的重复率相比全量会低很多),由于在备份场景,存储容量不可能算的很精确,如日增量、年增量、重删比等都是一个经验值,所以为了让备份介质存储能满足真实业务备份对容量的需求,建议考虑冗余容量,这个随不是强制,但却很必要。

按年增量计算相对要准确一些,但是太过繁琐,本来备份介质容量就不是精确值,所以不太推荐。既然在这里提到了,我们也花点时间来分析下。

从下图可以看出,全量副本和增量副本都还是14和77,唯一不一样的地方就是全备份副本数据量和增量副本数据量的计算方法。在前提假设和需求都不变的情况下,全备份副本每一周备份一次,所以是按7天数据增量为单位的等比数列求和;而增量副本是按日增量计算的等比数列求和,当然在该示例中为了简便计算把公式简化了。

数据备份,需要多少容量和性能满足?

性能计算对生产存储是比较重要的,因为生产存储所提供的性能必须要满足业务峰值运行时的要求。备份业务一般是有备份窗口,在这个时间内基本上没有业务或很少业务在运行,所以基本上是可以满足业务备份性能需求的。对备份介质存储来说,主要是考虑备份容量。

性能计算方法

下面示例性能是以IOPS计算,通过存储分级来提升整体存储性能,这个示例是计算生产存储容量和性能的,在备份业务中,一般只采用SATA或NL_SAS盘就可以,没必要采用SSD磁盘,而且存储介质存放的都是大文件高带宽数据。

但是性能计算无论是IOPS或是带宽,在原理是比较类似的。提供存储配置时,既要满足性能要求,也要满足容量要求,存储配置就等于MAX(按容量配置、按性能配置)+热备。

数据备份,需要多少容量和性能满足?

按容量配置时,计算公式是:(单盘容量*磁盘数量-单盘容量*热备盘数量)*RAID利用率,RAID利用率和RAID级别、成员盘个数相关。以RAID5,9个成员盘为例计算,其RAID利用率为0.88。

按照性能计算时,考虑的问题就比较多,如在不同IO块大小、顺序、随机比例下,磁盘的单盘性能都是不一样的。假如按照随机读写计算,一般计算公式为:单盘随机IOPS*硬盘数量/(度比例+写比例*写惩罚),写惩罚和RAID类型相关,RAID10写惩罚是2,RAID5是4,RAID6是6。

数据备份,需要多少容量和性能满足?

最终按照MAX(按容量配置、按性能配置)+热备公式,取最大值就是满足需求的配置。但在实际项目实施时,还是要考虑一部分空间冗余,主要是因为还有些空间无法精确计算,如对硬盘进行格式化后,创建文件系统,会占相应空间存储元数据;存储系统为了考虑可靠性或防止性能下降也会预留部分空间;增值特性资源池也需要预留空间。


最后,需要跟大家在强调一点,文中采用主存(IOPS型业务)计算IOPS的方法来说明性能计算的(当然用在备份介质确实不合适,因为备份主存数据都是以大文件备份的;当然增量备份并非大文件,是固定块大小备份,一个文件就变化一点,内存怎么聚合也是这一块),备份介质都基本都是存放带宽型业务,但是存储计算带宽时方法与IOPS类似,所以我偷懒了(周末大家都在休息,但我还在分享东西,累啊),这一点在文中有说明,细心的读者定能发现。

然而真正的性能计算,如带宽在计算时,我们也不能直接拿IOPS*块大小算(因为即使IOPS一样,块大小不同,带宽也不同);带宽业务基本都是满条带下盘、RAID写惩罚也会大幅度降低,分级也不能简单相加(还要考虑数据落去不同类型磁盘的占比等)。但按我所描述的方法计算带宽是比较保守的较大化配置(性能肯定能满足需求),性能这块水比较深,没有点篇幅很难讲清,随机比,块大小,业务场景,网络,接口卡,带宽利用率等必须端到短考虑,本文篇幅有限所以只能粗略讲讲备份副本,容量和性能方法了。

温馨提示:

请搜索“ICT_Architect”“扫一扫”下面二维码关注公众号,获取更多精彩内容。


版权声明:本文为博主原创文章,转载请注明作者和出处。

企业数据备份,需要多少容量和性能满足?

在备份项目中,除了选择合适的备份软件,还要考虑存储、备份服务器、存储策略和配置等。关于备份组网、架构和备份软件我们前面已经讨论了,今天我们重点讨论备份存储容量和性能计算。...
  • swingwang
  • swingwang
  • 2016年08月29日 21:49
  • 2094

企业数据备份方案文档

  • 2009年05月30日 18:45
  • 240KB
  • 下载

企业备份方案设计干货参考:典型场景、典型问题及案例

随着企业的发展,IT信息中心会出现越来越多的业务系统,这些业务系统也会越来越复杂。单从使用者的角度看,可能也就几个业务模块。但仔细一梳理,会发现其组成部分包含存储、SAN网络、主机、数据库、中间件等,...
  • yincg
  • yincg
  • 2017年05月08日 14:57
  • 432

大中型企业数据备份解决方案(图)

三、高价位投入:百万以上数据备份解决方案     1、高价位投入含义     在大型企业数据中心级的存储系统中,数据量为几十甚至上百TB,企业的硬件投入成本成倍地增加。这时我们就要采用SAN(S...
  • jackzhang083
  • jackzhang083
  • 2013年03月10日 16:06
  • 276

数据备份

一般的数据备份操作有三种  1、 全盘备份,即将所有文件写入备份介质;所需时间长,恢复时间短,适用于数据量不大  2、 增量备份,只备份那些上次备份之后更改过的文件,是最有效的备份方法;  ...
  • c1052981766
  • c1052981766
  • 2018年01月31日 09:22
  • 9

数据备份与服务镜像

  • 2007年03月27日 16:54
  • 614KB
  • 下载

互联网性能与容量评估的方法论和典型案例

互联网性能与容量评估的方法论和典型案例   作者 李艳鹏 关注 2017.03.29 22:01* 字数 5310 阅读 1738评论 9喜欢 20 1 背景 本文欢...
  • u012528360
  • u012528360
  • 2017年04月11日 15:30
  • 1091

某电力企业数据备份方案解析

企业的大量信息包含在数据中,如何保护企业的数据,在现代企业管理中,已经越来越重要。本文主要讨论某电力企业业务管理系统中的数据备份实现技术和相关的方式、策略等,同时,对SmallWorld的备份做了一定...
  • liqfyiyi
  • liqfyiyi
  • 2011年11月30日 21:28
  • 2702

企业服务器备份

服务器备份简单定义   所谓服务器备份是指针对于服务器所产生的数据信息进行相应的存储备份过程,从而保障数据的安全运行。公司服务器的备份应对当前和将来的信息使用方式进行评估,实施满足其全部需求的流程和...
  • fungfong
  • fungfong
  • 2015年05月21日 16:59
  • 361

redis企业级数据备份和恢复方案

redis企业级数据备份与恢复方案
  • u011262847
  • u011262847
  • 2017年10月10日 22:04
  • 122
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:企业数据备份,需要多少容量和性能满足?
举报原因:
原因补充:

(最多只允许输入30个字)