纠删码简要介绍（与纠错码的区别）

存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规模较大的应用场景下，纠删码越来越多的出现在选择的视野范围，成为RAID，副本之外的第三种选择，因此也获得了越来越多的关注。

纠删码（Erasure Code)本身是一种编码容错技术，最早是在通信行业解决部分数据在传输中损耗的问题，它的基本原理是把传输的信号分段，加入一定的校验再让各段间发生一定的联系，即使在传输过程中丢失掉部分信号，接收端仍然能通过算法把完整的信息计算出来。如果严格的区分，实际上按照误码控制的不同功能，可分为检错、纠错和纠删三种类型。

1. 检错码仅具备识别错码功能 而无纠正错码功能；
2. 纠错码不仅具备识别错码功能，同时具备纠正错码功能；
3. 纠删码则不仅具备识别错码和纠正错码的功能，而且当错码超过纠正范围时，还可把无法纠错的信息删除。

Erasure Code（EC），即纠删码，是一种前向错误纠正技术（Forward Error Correction，FEC，说明见后附录），主要应用在网络传输中避免包的丢失， 存储系统利用它来提高存储可靠性。相比多副本复制而言， 纠删码能够以更小的数据冗余度获得更高数据可靠性， 但编码方式较复杂，需要大量计算 。纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名与此。目前，纠删码技术在分布式存储 系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。

1. RAID是EC的特殊情况。在传统的RAID中，仅支持有限的磁盘失效，RAID5只支持一个盘失效，RAID6支持两个盘失效，而EC支持多个盘失效。
2. EC主要运用于存储和数字编码领域。例如磁盘阵列存储（RAID 5、RAID 6），云存储（RS）等。
3. LDPC码也可以提供很好的保障可靠性的冗余机制。与RS编码相比，LDPC编码效率要略低，但编码和解码性能要优于RS码以及其他的纠删码，主要得益于编解码采用的相对较少并且简单的异或操作。LDPC码目前主要用于通信、视频和音频编码等领域。

FEC 介绍

在信息中按照某种规则加上一定的冗余位，构成一个码字，称为差错控制编码过程。在接收端接收到码字，或从存储设备中读取码字后，查看信息位和冗余位，并检查他们之间的关系是否正确，以确定是否有差错发生，称为校验。Forward  Error Correction，FEC- 前向纠错编码技术通过在传输码列中加入冗余纠错码，在一定条件下，通过解码可以自动纠正传输误码。这种编码的译码设备较复杂。

 

除FEC之外，还有两种差错控制编码：Automatic repeat request（ARQ）检错重发（或自动请求重传），Hybrid  Error Correction（HEC）混合纠错:

检错重发由发送端送出能够发现错误的码，接收端如果发现错误，通过反向信道把这一判决结果反馈给发送端。然后，发送端把接收端认为错误的信息再次重发。其特点是需要反馈信道，译码设备简单。

混合纠错是 ARQ和 FEC方式的混合。发送端同时送出具有检错和纠错能力的码，如果接收端收到信码在纠错能力以内，则自动进行纠正。如果超出纠错能力，则经过反馈信道请求发送端重发。

 

参考资料：

1. Erasure Coding（纠删码）深入分析

2. erasure coding：纠删码

3. Erasure Code

4. EC---->LRC---->Sparse Erasure Code

5. EC纠删码（Erasure Code）校验码算法相比传统RAID5有哪些优势？

转载于:https://www.cnblogs.com/sylar5/p/7810836.html