简单再生码

再生码是一种网络编码,针对分布式存储系统的数据冗余方法,本文引用王静老师的文献<简单再生码的分段编码方案>以及博客园大佬沉梦昂志_doc的文章简单聊聊什么是再生码


前言

通过信息论与编码的知识,我们知道为了保证数据信息的可靠,必要的冗余是十分必要的,分布式存储系统的数据冗余有三种常见方法:复制、纠删码、网络编码。而前两种方式占用的存储资源和带宽都比较高,为了进一步优化分布式存储系统的存储和带宽效率,Dimakis等人,将网络编码应用到了分布式存储系统中,提出了再生码的编码策略,与纠删码的主要区别是:利用网络及节点的优势,降低带宽和存储。


一、什么是再生码

再生码根据信息流图最小割信息,可分为最小数据存储量点( minimumstorage regeneratingMSR) 称为 MSR 编码( MSR codes);最小带宽点( minimumbandwidth regenerating,MBR) 称为 MBR 编码( MBR codes) 。在 MSR 这一点,每个节点存储的数据量与 MDS 码相同, 但是在 f > k 时, 总修复带宽相比于 MDS 码更小。仿真实验表明,简单再生码与基于MDS编码的分布式存储系统相比具有相等可靠性的同时,在修复单节点时具有更小的修复带宽。当有节点失效时,新生节点可以按照图1方式通过连接f个存活节点对其进行修复。

二、再生码编码方案优化

为了进一步降低分布式存储系统中单节点修复带宽,提出一种基于简单再生码的分段编码方案。该方案同样使用RS纠删码作为外部编码,即将原文件M平均分为f个子文件M1,M2,…,Mr,同时对f个子文件分别独立进行(n,k)RS纠删码编码,分别生成n个编码块,其中1≤i≤f。经过(n,k)RS纠删码编码之后,系统总共生成f个编码块。为了降低修复带宽,首先将f个具有相同下标的编码块分成两段,每一段生成一个校验块,则每段中的单个失效编码块可以利用该段中的存活编码块以及该段生成的校验块来完成修复

通过分段式编码方案优化的带宽开销只有原来的一半,若f继续增大,两者的带宽开销差值也将越来越大,作为代价分段式编码方案的存储开销只增加了少量。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值