编码引擎评判标准
以下几个关键指标可以对编码引擎性能进行分析:
1、高编/解码速度;
2、参数可配置;
3、编码速度稳定性;
4、代码简洁、稳定;
5、降低修复开销等。
一个可配置参数的编码引擎可以根据数据的冷热程度和数据重要程度选择不同的编码系数而不需要改动引擎本身,这大大降低了后续的开发和维护所需要的精力。比如可靠性要求高的数据可以选择更多冗余。数据恢复和更新代价高,因此常常针对只读数据,或者冷数据。
Erasure Code 参数说明
用法:./encoder ‘data/test.rar’ k m ‘reed_sol_van’ wordsize packetsize buffersize
1.纠删码将一个源文件以若干字节为单位分成k个等长的数据块,通过矩阵运算生成m个与数据块等长的冗余块,用于还原源文件。编码效率R=k/m。
-
RS编解码中涉及到矩阵求逆,若采用高斯消元法,需要进行实数加减乘除四则运算,无法作用于字长为w位的二进制数据。为了解决这个问题,RS采用伽罗华群GF(2^w)中定义的四则运算法则,RS code是基于有限域 的一种编码算法,k+m个数据块就是这个有限域中的元素,因此满足 。RS编码依赖于两张2w-1大小的log表。每个数据块包含若干个字节, 每个字节的长度为w位, w∈{8 , 16 , 32 , 64}, w可在程序设计时自由选择, w值一般选取2的幂,w值越大,纠删码越丰富(可生成更多地数据块和冗余块),但随w值增大,在伽罗瓦域上的计算复杂度提高。通常选择w =8, 因为系统中包含少于28个磁盘, 而且w=8表现性能最好。