二维码的纠错码原理及如何纠错(2)

下面进一步介绍二维码纠错相关的编码矩阵

1 范德蒙德（Vandermonde）矩阵

1.1 定义及特性

法国数学家 Alexandre-Théophile Vandermonde 在十八世纪提出了行列式的概念, 用来解决线性方程组问题, 其中一个关键是范德蒙德(Vandermonde) 矩阵, Vandermonde 矩阵具有如下的形式:
$${\mathrm{A}}_{\mathrm{n}}=\left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_3^1& \dots & x_n^1\\ x_1^2& x_2^2& x_3^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_3^{n-1}& \dots & x_n^{n-1}\end{array}\right]\text{\hspace{1em}(1)}$$
它的任意的子方阵均为可逆方阵。一个$n$行$n$列的范德蒙德矩阵定义如下，其中$x_i$ 均不相同，且不为0。Vandermonde 矩阵有一个很重要的特性:
$$|{\mathrm{A}}_{\mathrm{n}}|=|{\mathrm{A}}_{\mathrm{n}}^{\mathrm{T}}|=\prod _{1\le i\le j\le n}(x_j-x_i)\text{\hspace{1em}(2)}$$
例子1：
如下范德蒙矩阵
$${\mathrm{A}}_{\mathrm{n}}=\left[\begin{array}{ccc}1& 1& 1\\ 2& 3& 5\\ 2^2& 3^2& 5^2\end{array}\right]$$
那么它的行列式为$\left|A_n\right|=(3-2)\ast (5-2)\ast (5-3)=6$.
例子2：
如下范德蒙矩阵
$${\mathrm{A}}_{\mathrm{n}}=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 3& 5& 7\\ 2^2& 3^2& 5^2& 7^2\\ 2^3& 3^3& 5^3& 7^3\end{array}\right]$$
那么它的行列式为$\left|A_n\right|=(3-2)\ast (5-2)\ast (7-2)\ast (5-3)\ast (7-3)\ast (7-5)=240$.
这个特性可以用数学归纳法证明出来。
【证明】
若$D_n$为$n$阶Vandermonde行列式($n\ge 2$)，则有
$$\begin{gathered} D_n=\prod _{1\le i\le j\le n}(x_j-x_i)=(x_n-x_{n-1})(x_n-x_{n-2})\dots (x_n-x_1)(x_{n-1}-x_{n-2}) \\ (x_{n-1}-x_{n-3})\dots (x_{n-1}-x_1)\dots (x_3-x_2)(x_3-x_1)(x_2-x_1). \end{gathered}$$
(1) 当$n=2$时， $D_2=\left|\begin{array}{cc}1& 1\\ x_1& x_2\end{array}\right|=(x_2-x_1)$，结论成立；
(2) 假设结论对$n-1$阶范德蒙德行列式成立，即
$$D_{n-1}=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_2^1& x_3^1& \dots & x_n^1\\ x_2^2& x_3^2& \dots & x_n^2\\ ⋮& ⋮& \ddots & ⋮\\ x_2^{n-2}& x_3^{n-2}& \dots & x_n^{n-2}\end{array}\right|=\prod _{2\le i\le j\le n}(x_j-x_i)$$
考虑$n$阶范德蒙行列式的情形:
$$D_n=\left|\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_3^1& \dots & x_n^1\\ x_1^2& x_2^2& x_3^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_3^{n-1}& \dots & x_n^{n-1}\end{array}\right|$$
从第$n$行开始，自下而上依次的由下一行减去它上一行的$x_1$倍 ，有：
$$\begin{gathered} D_n=\left|\begin{array}{ccccc}1& 1& 1& \dots & 1\\ 0& x_2-x_1& x_3-x_1& \dots & x_n-x_1\\ 0& x_2^2-x_2{x}_1& x_3^2-x_3{x}_1& \dots & x_n^2-x_n{x}_1\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& x_2^{n-1}-x_2^{n-2}{x}_1& x_3^{n-1}-x_3^{n-2}{x}_1& \dots & x_n^{n-1}-x_n^{n-2}{x}_1\end{array}\right| \\ =\left|\begin{array}{ccccc}1& 1& 1& \dots & 1\\ 0& x_2-x_1& x_3-x_1& \dots & x_n-x_1\\ 0& x_2(x_2-x_1)& x_3(x_3-x_1)& \dots & x_n(x_n-x_1)\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& x_2^{n-2}(x_2-x_1)& x_3^{n-2}(x_3-x_1)& \dots & x_n^{n-2}(x_n-x_1)\end{array}\right| \end{gathered}$$
按第一列展开后提取公因式，得
$$\begin{gathered} D_n=(x_2-x_1)(x_3-x_1)\dots (x_n-x_1)\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_2& x_3& \dots & x_n\\ ⋮& ⋮& \ddots & ⋮\\ x_2^{n-2}& x_3^{n-2}& \dots & x_n^{n-2}\end{array}\right| \\ =(x_2-x_1)(x_3-x_1)\dots (x_n-x_1)\prod _{2\le i\le j\le n}(x_j-x_i)=\prod _{1\le i\le j\le n}(x_j-x_i) \end{gathered}$$
得证。

1.2 Vandermonde矩阵的理解

在差值(interpolation)问题中, 假设在二维空间有 $n$ 个点 $(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$, 希望得到一个多项式解:
$$p(x)=d_n{x}^{n-1}+d_{n-1}{x}^{n-2}+\cdots +d_{2}x+d_1\text{\hspace{1em}(3)}$$
这个多项式可以满足我们的当前条件：
$$\begin{gathered} p(x_1)=y_1=d_n{x}_1^{n-1}+d_{n-1}{x}_1^{n-2}+\cdots +d_2{x}_1+d_1 \\ p(x_2)=y_2=d_n{x}_2^{n-1}+d_{n-1}{x}_2^{n-2}+\cdots +d_2{x}_2+d_1 \\ \dots \\ p(x_n)=y_n=d_n{x}_n^{n-1}+d_{n-1}{x}_n^{n-2}+\cdots +d_2{x}_n+d_1 \end{gathered}$$
实际上, 可以推演如下:
$$\begin{gathered} y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{d}_1+d_2{x}_1+d_3{x}_1^2\cdots +d_n{x}_1^{n-1}\\ d_1+d_2{x}_2+d_3{x}_2^2\cdots +d_n{x}_2^{n-1}\\ ⋮\\ d_1+d_2{x}_n+d_3{x}_n^2\cdots +d_n{x}_n^{n-1}\end{array}\right] \\ ={\left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_2^1& \dots & x_n^1\\ x_1^2& x_2^2& x_2^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right]}^{\mathrm{T}}\ast \left[\begin{array}{c}{}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]={\mathrm{A}}^{\mathrm{T}}\ast \left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]\text{\hspace{1em}(4)} \end{gathered}$$
还可以表示如下：
$$\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]=({\mathrm{A}}^{\mathrm{T}}{)}^{-1}y\text{\hspace{1em}(5)}$$
令$x_1=1,x_2=2,x_3=3,\dots ,x_n=n$， 则有：
$$\mathrm{A}=\left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ 1& 2& 3& \dots & n\\ 1^2& 2^2& 3^2& \dots & n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1^{n-1}& 2^{n-1}& 3^{n-1}& \dots & n^{n-1}\end{array}\right]\text{\hspace{1em}(6)}$$

1.3 Vandermonde矩阵在最小二乘拟合中的应用

假设对$n$个采样点进行拟合，那么方差可以表示为：

$$R^2=\sum _{i=1}^n[y_i-(d_1+d_2{x}_i+d_3{x}_i^2\cdots +d_n{x}_i^{n-1}){]}^2$$

为求得方差的最小值，对$d_1,\dots ,d_n$求偏导：
$$\begin{gathered} \frac{\partial (R^2)}{\partial (d_1)}=-2\sum _{i=1}^n[y-(d_1+d_{2}x+d_3{x}^2\cdots +d_n{x}^{n-1})]=0 \\ \frac{\partial (R^2)}{\partial (d_2)}=-2\sum _{i=1}^n[y-(d_1+d_{2}x+d_3{x}^2\cdots +d_n{x}^{n-1})]x=0 \\ \dots \\ \frac{\partial (R^2)}{\partial (d_n)}=-2\sum _{i=1}^n[y-(d_1+d_{2}x+d_3{x}^2\cdots +d_n{x}^{n-1})]x^{n-1}=0 \end{gathered}$$
移项：
$$\begin{gathered} d_{1}n+d_2\sum _{i=1}^n{x}_i+d_3\sum _{i=1}^n{x}_i^2+\cdots +d_n\sum _{i=1}^n{x}_i^{n-1})]=\sum _{i=1}^n{y}_i \\ {d}_1\sum _{i=1}^n{x}_i+d_2\sum _{i=1}^n{x}_i^2+d_3\sum _{i=1}^n{x}_i^3+\cdots +d_n\sum _{i=1}^n{x}_i^n)]=\sum _{i=1}^n{x}_i{y}_i \\ \dots \\ {d}_1\sum _{i=1}^n{x}_i^{n-1}+d_2\sum _{i=1}^n{x}_i^n+d_3\sum _{i=1}^n{x}_i^{n+1}+\cdots +d_n\sum _{i=1}^n{x}_i^{2n-2}=\sum _{i=1}^n{x}_i^{n-1}{y}_i \end{gathered}$$
用矩阵表示如下
$$\begin{gathered} \left[\begin{array}{ccccc}n& {\sum }_{i=1}^n{x}_i& {\sum }_{i=1}^n{x}_i^2& \dots & {\sum }_{i=1}^n{x}_i^{n-1}\\ {\sum }_{i=1}^n{x}_i& {\sum }_{i=1}^n{x}_i^2& {\sum }_{i=1}^n{x}_i^3& \dots & {\sum }_{i=1}^n{x}_i^n\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\sum }_{i=1}^n{x}_i^{n-1}& {\sum }_{i=1}^n{x}_i^n& {\sum }_{i=1}^n{x}_i^{n+1}& \dots & {\sum }_{i=1}^n{x}_i^{2n-2}\end{array}\right]\ast \left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]= \\ \left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_2^1& \dots & x_n^1\\ x_1^2& x_2^2& x_2^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right]\ast \left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right] \end{gathered}$$
对其进行变形，得到：
$$\begin{gathered} \left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_2^1& \dots & x_n^1\\ x_1^2& x_2^2& x_2^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right]{\left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_2^1& \dots & x_n^1\\ x_1^2& x_2^2& x_2^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right]}^{\mathrm{T}}\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]= \\ \left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ x_1^1& x_2^1& x_2^1& \dots & x_n^1\\ x_1^2& x_2^2& x_2^2& \dots & x_n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_1^{n-1}& x_2^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right] \end{gathered}$$
上面的公式可以简写为：
$$\mathrm{A}{\mathrm{A}}^{\mathrm{T}}d=\mathrm{A}y$$
$\mathrm{A}$为竖着的范德蒙矩阵。此处向量$d$等于：
$$d=(\mathrm{A}{\mathrm{A}}^{\mathrm{T}}{)}^{-1}\mathrm{A}y$$

1.4 基于Vandermonde的编码

编码矩阵就是单位矩阵和范德蒙德矩阵的组合。输入数据（D）和编码矩阵的乘积就是编码后的数据。
$$\left[\begin{array}{ccccc}1& 0& 0& \dots & 0\\ 0& 1& 0& \dots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \dots & 1\\ 1& 1& 1& \dots & 1\\ 1& 2& 3& \dots & n\\ 1^2& 2^2& 3^2& \dots & n^2\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1^{n-1}& 2^{n-1}& 3^{n-1}& \dots & n^{n-1}\end{array}\right]\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\\ c_1\\ c_2\\ ⋮\\ c_m\end{array}\right]\text{\hspace{1em}(7)}$$
算法复杂度： 采用这种方法的算法复杂度还是比较高的，编码复杂度为$O(mn)$，其中$m$为校验数据个数，$n$为输入数据个数。解码复杂度为$O(n^3)$。

2 柯西（ Cauchy）矩阵

柯西矩阵的任意一个子方阵都是奇异矩阵，存在逆矩阵。而且柯西矩阵在迦罗华域上的求逆运算，可以在$O(n^2)$的运算复杂度内完成。
使用柯西矩阵，比范德蒙德矩阵的优化主要有两点：

1. 降低了矩阵求逆的运算复杂度。范德蒙矩阵求逆运算的复杂度为$O(n^3)$，而柯西矩阵求逆运算的复杂度仅为$O(n^2)$。
2. 通过有限域转换，将GF($2^w$)域中的元素转换成二进制矩阵，将乘法转换为逻辑与，降低了乘法运算复杂度。（二进制的加法即XOR，乘法即AND）

2.1 柯西（ Cauchy）矩阵介绍

柯西矩阵的描述如下：
$$\left[\begin{array}{ccccc}\frac{1}{x_0+y_0}& \frac{1}{x_0+y_1}& \frac{1}{x_0+y_2}& \dots & \frac{1}{x_0+y_n}\\ \frac{1}{x_1+y_0}& \frac{1}{x_1+y_1}& \frac{1}{x_1+y_2}& \dots & \frac{1}{x_1+y_n}\\ \frac{1}{x_2+y_0}& \frac{1}{x_2+y_1}& \frac{1}{x_2+y_2}& \dots & \frac{1}{x_2+y_n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \frac{1}{x_m+y_0}& \frac{1}{x_m+y_1}& \frac{1}{x_m+y_2}& \dots & \frac{1}{x_m+y_n}\end{array}\right]\text{\hspace{1em}(8)}$$
$x_i$ 和$y_i$ 都是迦罗华域GF($2^w$）中的元素。
基于柯西矩阵的编码矩阵为：
$$\left[\begin{array}{ccccc}1& 0& 0& \dots & 0\\ 0& 1& 0& \dots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \dots & 1\\ \frac{1}{x_0+y_0}& \frac{1}{x_0+y_1}& \frac{1}{x_0+y_2}& \dots & \frac{1}{x_0+y_n}\\ \frac{1}{x_1+y_0}& \frac{1}{x_1+y_1}& \frac{1}{x_1+y_2}& \dots & \frac{1}{x_1+y_n}\\ \frac{1}{x_2+y_0}& \frac{1}{x_2+y_1}& \frac{1}{x_2+y_2}& \dots & \frac{1}{x_2+y_n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \frac{1}{x_m+y_0}& \frac{1}{x_m+y_1}& \frac{1}{x_m+y_2}& \dots & \frac{1}{x_m+y_n}\end{array}\right]\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_n\\ c_1\\ c_2\\ ⋮\\ c_m\end{array}\right]\text{\hspace{1em}(9)}$$

2.2 柯西编解码过程优化

在范德蒙编码的时候，我们可以采用对数/反对数表的方法，将乘法运算转换成了加法运算，并且在迦罗华域中，加法运算转换成了XOR运算。
柯西编解码为了降低乘法复杂度，采用了有限域上的元素都可以使用二进制矩阵表示的原理，将乘法运算转换成了迦罗华域“AND运算”和“XOR逻辑运算”，提高了编解码效率。
从数学的角度来看，在迦罗华有限域中，任何一个GF($2^w$)域上的元素都可以映射到GF(2)二进制域，并且采用一个二进制矩阵的方式表示GF($2^w$)中的元素。
例如，GF($2^3$)域中的元素可以表示成GF(2)域中的二进制矩阵：

上图中，黑色方块表示逻辑1，白色方块表示逻辑0。通过这种转换，GF($2^w$)域中的阵列就可以转换成GF(2)域中的二进制阵列。生成矩阵的阵列转换表示如下：

在GF($2^w$)域中的编码矩阵为$k\ast (k+m)$，转换到GF(2)域中，使用二进制矩阵表示，编码矩阵变成了$(w\ast k)\ast (w\ast (k+m))$二进制矩阵。

采用域转换的目的是简化GF($2^w$)域中的乘法运算。在GF(2)域中，乘法运算变成了逻辑与运算，加法运算变成了XOR运算，可以大大降低运算复杂度。
和范德蒙编解码中提到的对数/反对数方法相比，这种方法不需要构建对数/反对数表，可以支持$w$为很大的GF域空间。采用这种有限域转换的方法之后，柯西编码运算可以表示如下：

算法复杂度：使用柯西矩阵要优于范德蒙德矩阵的方法，柯西矩阵的运算复杂度为$O(n\ast (n-m))$，解码复杂度为$O(n^2)$。

2.3 参数$w$影响

选择GF($2^w$)中的$w$参数，需要满足$k+n\le 2^w$。
对于柯西矩阵的RS编码，还需要满足coding Block size % ($w$ * packet) == 0。（具体参数设置和意义见 Jerasure实现，jerasure开源实现。）
关于Erasure Code，有一个开源的实现Jerasure，是由James S. Plank教授开发。还有一个开源项目FECpp，也是关于EC code的。地址为：FECpp 开源实现。

3 RS编码升级

RS编码后的数据，如果丢失了一块，恢复丢失的数据需要最少读取n块数据。在生产环境中，硬盘故障经常发生，恢复数据对网络IO和CPU都会有较大的消耗。
因此有些公司在EC编码的基础上做了一些改进，使用LRC或SEC替换RS编码。

3.1 LRC - Locally Repairable Code 本地副本存储

LRC编码与RS编码方式基本相同，同时增加了额外的数据块副本。
LRC编码本质上是RS编码+2副本备份。
LRC编码步骤如下：

1. 对原始数据使用RS编码，例如编码为4：2，编码结果为4个数据块：D1、D2、D3、D4，2个编码块C1、C2；
2. 原始数据做2副本，将4个数据块的前2个数据块和后2个数据块，分别生成2个编码块，即R1=D1D2，R2=D3D4；
3. 如果某一个数据块丢失，例如D2丢失，则只需要R1和D1即可恢复D2；

LRC的编码矩阵中增加了步骤2的2副本编码，样子如下：

LRC增加了副本数量，使用了更多的存储空间，来减少恢复数据块时读取块的数量，节省恢复数据使用的网络IO和CPU。

3.2 SEC - Sparse Erasure Code 稀疏纠删码

LRC编码中只对数据块做了2副本，当编码块丢失时，仍然需要读取n块数据来重新计算编码块。
SEC编码中对数据块和编码块都做增加了校验块。
SEC编码本质上是RS编码+奇偶校验块。
SEC编码步骤如下：

1. 对原始数据使用RS编码，例如编码为4：2，编码结果为4个数据块：D1、D2、D3、D4，2个编码块C1、C2；
2. 生成D1D2的校验块X1，D3D4的校验块X2，C1C2的校验块X3；
3. 当数据块或编码块中的某一个丢失时，例如C2丢失，通过C1和校验块X3即可恢复C2；

SEC同样通过增加存储块，减少了恢复数据是的网络和CPU开销。

4 FEC 介绍

在信息中按照某种规则加上一定的冗余位，构成一个码字，称为差错控制编码过程。
在接收端接收到码字，或从存储设备中读取码字后，查看信息位和冗余位，并检查他们之间的关系是否正确，以确定是否有差错发生，称为校验。
Forward Error Correction，FEC- 前向纠错编码技术通过在传输码列中加入冗余纠错码，在一定条件下，通过解码可以自动纠正传输误码。这种编码的译码设备较复杂。

除FEC之外，还有两种差错控制编码：Automatic repeat request（ARQ）检错重发（或自动请求重传），Hybrid Error Correction（HEC）混合纠错。

检错重发由发送端送出能够发现错误的码，接收端如果发现错误，通过反向信道把这一判决结果反馈给发送端。然后，发送端把接收端认为错误的信息再次重发。其特点是需要反馈信道，译码设备简单。

混合纠错是 ARQ和 FEC方式的混合。发送端同时送出具有检错和纠错能力的码，如果接收端收到信码在纠错能力以内，则自动进行纠正。如果超出纠错能力，则经过反馈信道请求发送端重发。

参考

1. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems
2. Optimizing Cauchy Reed-Solomon Codes for Fault-Tolerant Storage Applications
3. Tutorial: Erasure Coding for Storage Applications
4. http://jerasure.org/jerasure/jerasure
5. http://jerasure.org/jerasure/gf-complete
6. http://alanwu.blog.51cto.com/3652632/1406312
7. http://alanwu.blog.51cto.com/3652632/1410132
8. http://blog.163.com/yandong_8212/blog/static/13215391420143281143547/