基于FEC信道编码丢包恢复技术

FEC 前向差错恢复编码

FEC 是一种前向差错恢复编码技术，是通过对原生信息序列进行编码生成监督码，这些监督码作为冗余信息序列与原生信息序列一起被传输，当原生信息序列发生错误或丢失，可通过冗余信息序列以一定能力恢复原生信息序列。
对于生成的冗余数据，我们希望生成数据大小范围与原生数据一致，以免使用更多冗余来表示，比如在计算机中，以一个字节单位的数据来生成的编码数据我们不希望是个两个字节或更大数据。因此，编码通常利用了有限域的数学方法，在有限域中进行四则运算，使得编码后的数据还是在一样的大小范围内。

伽罗瓦域（galois field）

域是一个可以在其上进行加法、减法、乘法和除法运算而结果不会超出域的集合。如果域F只包含有限个元素，则称其为有限域。有限域亦称伽罗瓦域（galois field），它是伽罗瓦(Galois,E.)于18世纪30年代研究代数方程根式求解问题时引出的。

伽罗瓦域的阶（元素个数）必为素数的幂，即有限域的阶可表示为$p^n$（p是素数、n是正整数），记为$GF(p^n)$。计算机应用一般取 $p=2$ 来计算二进制运算。

$GF(p^n)$ 中有 $p^n$个元素，除了 0，1 之外的元素由本原多项式 $P(x)$生成。本原多项式（primitive polynomial）是一个不可约多项式，不能够进行因子分解，它 只能整除$x^{2^n-1} + 1$ , 而不能整除其他$x^{J-1} + 1$, 其中 $J < ( 2^n-1)$ 。当一个域上的本原多项式确定了，这个域上的运算也就确定了。本原多项式一般通过查表可得，同一个域往往有多个本原多项式。通过将域中的元素化为多项式形式，可以将域上的乘法运算转化为普通的多项式乘法再模本原多项式。

$GF(p^n)$ 中元素加法和乘法单位元分别是 0和1，对于域中的乘法，当p为素数时，才能保证集合中的所有的元素都有乘法逆元(0除外)。

通过本原多项式生成元素

例 $GF(2^4)$, 其本原多项式 $P(x) = x^4 + x + 1$, 令 $GF(2^4)$的元素为 $0 、1、a_1 、a_2 、…… 、a_{14}$ , 则$a_i$ 生成的多项式为 $x^i mod(P(x))$ , 如下表：

元素	多项式	对应数值
0	$0 mod P(x) = 0$	0000 (0)
1	$1 mod P(x) = 1$	0001 (1)
$a_1$	$x^1 mod P(x) = x$	0010 (2)
$a_2$	$x^2 mod P(x) = x^2$	0100 (4)
$a_3$	$x^3 mod P(x) = x^3$	1000 (8)
$a_4$	$x^4 mod P(x) = x+1$	0011 (3)
$a_5$	$x^5 mod P(x) = x^2+x$	0110 (6)
$a_6$	$x^6 mod P(x) = x^3+x^2$	1100 (12)
$a_7$	$x^7 mod P(x) = x^3+x+1$	1011 (11)
$a_8$	$x^8 mod P(x) = x^2+1$	0101 (5)
$a_9$	$x^9 mod P(x) = x^3+x$	1010 (10)
$a_{10}$	$x^{10} mod P(x) = x^2+x+1$	0111 (7)
$a_{11}$	$x^{11} mod P(x) = x^3+x^2+x$	1110 (14)
$a_{12}$	$x^{12} mod P(x) = x^3+x^2+x+1$	0010 (15)
$a_{13}$	$x^{13} mod P(x) = x^3+x^2+1$	1101 (13)
$a_{14}$	$x^{14} mod P(x) = x^3+1$	1001 (9)

上面例子建立GF中元素与数值一一对应关系。

上述可以看出，GF 的元素其实就是二进制多项式构成的循环码，由循环码的特性，定义GF中元素的四则运算，保证了运算后的结果还是域的中元素。例如，加法 $a_4+ a_9 = (0011)xor(1010) = (1001) = a_{14}$ , 即元素的加法是对应数值的异或结果对应的元素；$a_4 * a_9 = a_{( (4+9) mod 15)} = a_{13}$ , 即元素相乘为其幂值相加求模对应的元素。

设数值 $y, u,v, z$, 元素$a_i , a_j, a_{( (i + j)mod(n-1) )}, a_{( (i- j)mod(n-1) )}$分别为$y, u, v, z$在$GF(2^n)$中对应的元素，为则GF中四则运算为：
加减法：数值异或 $k\oplus l$
乘法：$k\ast l \Rightarrow a_{( (i + j)mod(n-1) )} \Rightarrow v$
除法：$k / l \Rightarrow a_{( (i - j)mod(n-1) )} \Rightarrow z$

常用本原多项式：

n	本原多项式
4	$x^4 + x +1$
8	$x^8 + x^4 + x^3+x^2 +1$
16	$x^{16} +x^{12}+x^3+ x +1$
32	$x^{32} +x^{22}+x^2 +x +1$
64	$x^{64} + x^4 + x^3+x +1$

为了乘除法计算方便，一般将数值与元素对应关系列表。计算时，将数值根据表转为对应各自的元素乘法，得到结果元素，再根据表转为对应的数值。

RS编码丢包恢复

通过使用多项式对应的GF来实现对非二进制数据运算并进行变换其实就是RS编码技术。RS(Reed-Solomon)码是一类纠错能力很强的特殊的非二进制BCH码。

对于简单普通抗丢技术，增加冗余是对原生数据一份复制，也就是增加数据的一倍冗余来恢复对应的一个数据。这种恢复性能非常低。而RS编码变换则能实现高效抗丢。

例如，有四个数据 a b c d被传输 ， 则通过变换得到$e = f(a,b,c,d)$，这时若a b c d 中有一个丢失，如a丢失，那么可以通过逆变换$a = f^H(b,c,d,e)$恢复。也就是通过增加四分之一的冗余，来抵抗一个包的丢失，但这种抵抗是任何一个数据。而如果要抗所有数据丢失，那么需要增加一倍的冗余，即四个原生数据变换到四个冗余数据。

RS编码

$F * D = C$, 变换中涉及到的四则运算都在GF中进行，$D$是原生数据，$C$是监督数据（冗余数据）, $F$是一个线性无关矩阵（变换方程组系数），其实现有范德蒙矩阵（vandermode）和柯西矩阵。范德蒙矩阵实现比较方便，可以构建任意 n*n 的非奇异可逆矩阵,其形式如下：

$$\left[ \begin{matrix} 1 & 1 & 1& \cdots &1\\ 1&2& 3&\cdots & n\\ 1&2^2& 3^2&\cdots & n^2\\ \vdots & \vdots &\vdots & \ddots & \vdots \\ 1 & 2^{n-1} &3^{n-1} & \cdots & n^{n-1} \end{matrix} \right]$$

例如，选取子范德蒙矩阵对 a b c d ，变换为 e f g h ：

$$\left[ \begin{matrix} 1 & 1 & 1& 1\\ 1&2& 4& 8\\ 1&4& 16&64\\ 1 & 8 &64 & 256 \end{matrix} \right]\left[ \begin{matrix} a\\ b\\ c\\ d \end{matrix} \right]=\left[ \begin{matrix} e\\ f\\ g\\ h \end{matrix} \right]$$

RS恢复

如果在n个原生数据 $D$ 中丢失m个数据$D_m$，那么可以从冗余数据$C$中任意m个数据$C_m$ 和原生未丢失数据$D_{n-m}$ 通过$F$对应的子矩阵进行逆变换求解计算出丢失的$D_m$。

例如，a b d 丢失， 我们任取冗余数据中的 e g h 和为丢失的c来恢复 :

$$\left[ \begin{matrix} 1 & 1 & 1& 1\\ && &\\ 1&4& 16&64\\ 1 & 8 &64 & 256 \end{matrix} \right]\left[ \begin{matrix} a\\ b\\ c\\ d \end{matrix} \right]=\left[ \begin{matrix} e\\ \\ g\\ h \end{matrix} \right]$$
上面先将f 对应的矩阵 $F$那一行系数去掉，接着将c 对应矩阵$F$那一列系数与c相乘，移位到等式右边与 e g h 分别相加：
$$\left[ \begin{matrix} 1 & 1 & & 1\\ && &\\ 1&4& &64\\ 1 & 8 & & 256 \end{matrix} \right]\left[ \begin{matrix} a\\ b\\ \\ d \end{matrix} \right]=\left[ \begin{matrix} e+ c\\ \\ g + 16c\\ h + 64c \end{matrix} \right]$$
整理为：
$$\left[ \begin{matrix} 1 & 1 & 1\\ 1&4& 64\\ 1 & 8 & 256 \end{matrix} \right]\left[ \begin{matrix} a\\ b\\ d \end{matrix} \right]=\left[ \begin{matrix} e+ c\\ g + 16c\\ h + 64c \end{matrix} \right]$$
则逆变换可得 a b d:
$$\left[ \begin{matrix} a\\ b\\ d \end{matrix} \right]=\left[ \begin{matrix} 1 & 1 & 1\\ 1&4& 64\\ 1 & 8 & 256 \end{matrix} \right]^H\left[ \begin{matrix} e+ c\\ g + 16c\\ h + 64c \end{matrix} \right]$$

RS编码通常将每n个原生数据为一组，通过n*n 的范德蒙矩阵换成一组n个冗余数据，如果丢失m个，那么任意的m个冗余便可用来逆变换恢复原生数据，最多可恢复连续n个丢失包，其中任意的冗余数据就能来用恢复这一点是普通的增加冗余的本质区别，因为冗余数据也会丢失，如果任意就能恢复那么恢复能力也就更强; RS变化中涉及的运算是在定义在GF中的，这使的不因为数据表示的大小而增加冗余开销 。

信道丢包恢复技术

在网络通信传输场景，数据通常以包形式被连续传输，为了抗丢包，可以采用FEC技术生成冗余数据包，来恢复丢包， 将上述例子中数据用数据换成数据包，是一样逻辑。通常将原生数据包分组，生成一组检验包（冗余包），将检验包作为下一组的冗余， 例如：

$$a_0 \quad b_0 \quad c_0 \quad d_0 \quad a_1e_0 \quad b_1f_0 \quad c_1g_0\quad d_1h_0$$
上述中，每4个包 a b c d 为一组，生成的检验包e f g h分别做为下一组包传输，这样就可以前一组的丢包情况（丢少个），当收到下一组的就可以通过冗余包恢复。对于实时传输情况，这样为了等待冗余包，势必造成延迟， 分组大小对应着延迟大小，牺牲时效性保证可靠性。

参考文献

[1] James S. Plank. Erasure Codes For Storage Application.
https://web.eecs.utk.edu/~plank/plank/papers/FAST-2005.pdf
[2] James S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems
https://web.eecs.utk.edu/~plank/plank/papers/CS-96-332.pdf
[3] Reed-Solomon Codes.
https://www.cs.duke.edu/courses/spring10/cps296.3/rs_scribe.pdf