LDPC码介绍：基础&编码&译码

---

前言

本博客介绍了LDPC码的基本原理，其中包括校验矩阵的构造、Tanner 图和编译码的基础知识。

---

1. 简介

低密度奇偶校验码 (Low-density parity-check, LDPC) 是一类线性分组码，Gallager在 1962 年里首次提出 LDPC 码，但当时没有受到重视。30 多年后，Mackay在 1999 年重新发现 LDPC 的高性能特性，并推广应用。如今，LDPC 码广泛应用于通信领域，例如 5G、WIFI、WIMAX 和 DVB-S2 等领域。

2. 校验矩阵和生成矩阵

当我们在传递信息时，接收端如何判断接收到的信息是正确的呢？首先想到，在有用信息之后增加一些额外的信息，这些额外信息和有用信息存在某种约束。这样在接收端就可以用这种约束关系来验证接收信息正确与否。
最简单的一种方式是单奇偶校验码 (single parity check code, SPC)，即额外增加一位奇偶校验码。例如有一个7位的信源即$\mathbf{s}=1010011$，奇偶校验码增加到第8位。当$\mathbf{s}$中有偶数个1时，第8位奇偶校验码置为”0”，否则置为”1”。此例最终的码字为${\mathbf{s}}^{\prime }=10100110$.
对于7位源码和1位奇偶校验码，我们定义码字具有如下的形式：
$$\mathbf{s}=\left[s_1,s_2,s_3,s_4,s_5,s_6,s_7,s_8\right]\text{\hspace{1em}(1)}$$式中$s_i$为”0”或”1”，并且码字满足如下约束：
$$s_1\oplus s_2\oplus s_3\oplus s_4\oplus s_5\oplus s_6\oplus s_7\oplus s_8=0$$
上式为奇偶校验方程，式中$\oplus$表示模-2相加。
当信源码字由于信道干扰造成了一个比特的翻转，这种情况可以通过上述单奇偶校验码检测出来。但是无法给出哪一位错误，或对于更多比特的翻转，无法给出正确的译码结果。因此检测更多比特错误需要增加编码的冗余度，即需要设计更加复杂的奇偶校验码。
考虑如下6bit的码字：$$\mathbf{s}=\left[s_1,s_2,s_3,s_4,s_5,s_6\right]$$满足三个奇偶校验方程：$$\begin{array}{l}{s}_1\oplus s_2\oplus s_4=0\\ s_2\oplus s_3\oplus s_5=0\\ s_1\oplus s_2\oplus s_3\oplus s_6=0\end{array}\text{\hspace{1em}(2)}$$上述码字的奇偶校验方程可以写成矩阵形式：$$\underset{\mathbf{H}}{\underbrace{\left[\begin{array}{cccccc}1& 1& 0& 1& 0& 0\\ 0& 1& 1& 0& 1& 0\\ 1& 1& 1& 0& 0& 1\end{array}\right]\cdot }}\left[\begin{array}{c}{s}_1\\ s_2\\ s_3\\ s_4\\ s_5\\ s_6\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]\text{\hspace{1em}(3)}$$式中矩阵$\mathbf{H}$是奇偶校验矩阵。矩阵$\mathbf{H}$的每一行与一个奇偶校验方程相关，每一列与码字中的一个比特关联。因此，对于一个具有$m$个奇偶校验方程约束并且码字长度为$n$位的奇偶校验矩阵可用一个$m\times n$维的矩阵表示。经过信道接收到带噪声和干扰的比特流$\mathbf{y}=\left[y_1,y_2,y_3,y_4,y_5,y_6\right]$，如果满足以下方程(4)，则认为该比特流通过校验，是有效的码字。
$$\mathbf{H}{y}^T=0\text{\hspace{1em}(4)}$$以上是关于校验矩阵的定义。对于生成矩阵，首先将奇偶校验方程(2)重写为如下：$$\begin{array}{l}{s}_4=s_1\oplus s_2\\ s_5=s_2\oplus s_3\\ s_6=s_1\oplus s_2\oplus s_3\end{array}\text{\hspace{1em}(5)}$$上式方程可以理解为码字$\mathbf{s}$包含了三个信息比特$s_1,s_2,s_3$，同时包含了三个校验比特$s_4,s_5,s_6$。同样，(5)式的约束可以写为矩阵形式：$$\left[s_1,s_2,s_3,s_4,s_5,s_6\right]=\left[s_1,s_2,s_3\right]\cdot \underset{\mathbf{G}}{\underbrace{\left[\begin{array}{cccccc}1& 0& 0& 1& 0& 1\\ 0& 1& 0& 1& 1& 1\\ 0& 0& 1& 0& 1& 1\end{array}\right]}}\text{\hspace{1em}(6)}$$式中矩阵$\mathbf{G}$称为码字的生成矩阵。信息比特通常用$\mathbf{u}=\left[u_1,u_2,\cdots ,u_k\right]$表示，因此编码后的码字可用生成矩阵表示：$$\mathbf{s}=\mathbf{uG}\text{\hspace{1em}(7)}$$生成矩阵$\mathbf{G}$是$k\times n$的二进制矩阵，$k/n$称为编码的码率。从上面的描述可以看出，生成矩阵可以由校验矩阵获得，且满足：
$$\begin{array}{c}\mathbf{H}{\mathbf{s}}^T=\mathbf{H}{\mathbf{G}}^T{\mathbf{u}}^T=0\\ \Rightarrow \mathbf{H}{\mathbf{G}}^T=0\end{array}\text{\hspace{1em}(8)}$$生成矩阵$\mathbf{G}$的任意行向量属于校验矩阵的零空间(Null Space)。校验矩阵$\mathbf{H}$一旦确认，信息比特的编码就可以确定。
注：上述运算均在GF(2)域。
————————————————————————————————————————————
对于校验矩阵$\mathbf{H}$还有一个额外的约束，即：$$n-k=\mathrm{rank}\left(\mathbf{H}\right)\text{\hspace{1em}(9)}$$式中，$\mathrm{rank}\left(\mathbf{H}\right)$表示矩阵$\mathbf{H}$的秩。（这里需要注意，$m$有可能大于$n-k$，但$\mathbf{H}$中有些行之间是线性相关的）
查阅了很多资料，大部分都没有解释。这里根据自己的理解简单解释一下。
由矩阵方程 ${\mathbf{A}}_{\mathrm{n}\times \mathrm{n}}\cdot {\mathbf{x}}_{\mathrm{n}\times 1}=0$ 可知，当$\mathbf{A}$满秩时方程没有非零解，每当$\mathbf{A}$的秩减1，则释放一个自由度给$\mathbf{x}$。同理$\mathbf{s}$中的信源比特为$k$位，也就是说$\mathbf{H}{\mathbf{s}}^T=0$这个线性方程组要有$k$个自由度 (因为信源比特是不确定的)，那么$\mathrm{rank}\left(\mathbf{H}\right)$等于$n-k$，这样才能保证对于任意的信源比特$\mathbf{H}{\mathbf{s}}^T=0$都有非零解。
————————————————————————————————————————————

3. LDPC码的表达形式

3.1 矩阵形式

如上所述，校验矩阵一旦确认，编码也就定下了。因此校验矩阵$\mathbf{H}$可以完全表示LDPC码。以下面式 (10) 的LDPC校验矩阵为例：
$$\mathbf{H}=\left[\begin{array}{cccccccc}0& 1& 0& 1& 1& 0& 0& 1\\ 1& 1& 1& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 1& 1& 1\\ 1& 0& 0& 1& 1& 0& 1& 0\end{array}\right]\text{\hspace{1em}(10)}$$该矩阵定义了 $m=4$ 个奇偶校验方程和码字长度为 $n=8$ 位的LDPC编码。在校验矩阵$\mathbf{H}$中定义两个参数：$w_r$为每行中”1”的个数，$w_c$为每列中”1”的个数。如果$w_c\ll n$且$w_r\ll m$则称$\mathbf{H}$是“低密度”的，这也是低密度奇偶校验编码名字的由来。

3.2 Tanner 图形式

Tanner对LDPC码引入了一个有效的“图”表达形式，称作为Tanner 图。Tanner 图不仅能够完整表达LDPC码，而且Tanner 图能够有效解释译码原理。
Tanner 图是一种二分图，它由两类节点组成：变量节点(variable nodes, v-nodes)和校验节点(check nodes, c-nodes)。变量节点对应码字中的每个比特位，而校验节点对应奇偶校验校验方程。两类节点通过边 (edges) 连接，图中的边表示码字中的比特位参与了哪个校验方程。
式(10)所示的校验矩阵可以用图(1)所示的Tanner 图表示。图中包含了 $m$ 个(奇偶校验比特位数)校验节点和 $n$ 个 (码字长度) 变量节点。如果校验矩阵$\mathbf{H}$中$h_{ij}=1$，则校验节点$c_i$与变量节点$v_j$通过边连接。

图1  式 (10) 校验矩阵相对应的Tanner 图

3.3 规则/不规则LDPC码

如果校验矩阵$\mathbf{H}$中每一列的$w_c$是个常数且每一行的$w_r$也是个常数，那么则称这样的LDPC码是规则的。式(10)给出的校验矩阵$\mathbf{H}$是规则的：$w_c=2,w_r=4$。从Tanner 图中也可以看出，连接每个校验节点的边数都相同且连接每个变量节点的边数也都相同。其他情况下则称为不规则LDPC码。

3.4 LDPC码的构造

如上所述，LDPC码完全可以用校验矩阵$\mathbf{H}$来表示，所以LDPC码的构造也就是如何构造校验矩阵$\mathbf{H}$以尽量逼近香农极限。正常来说，校验矩阵应该根据不同信源比特来构造，但企图对每个不同信源比特构造校验矩阵$\mathbf{H}$是不现实的！所以，一般是根据不同信道和码率等条件提前构造好校验矩阵$\mathbf{H}$，对于不同的信源比特均采样同样的$\mathbf{H}$。Gallager自己提出了一种构造方式，后来MacKay提出了一种半随机的稀疏校验矩阵。有兴趣的可参考相关资料[1]，这里不详细介绍LDPC码的构造。

4. 编码 Encoding

如前所述，生成矩阵$\mathbf{G}$的任意行向量都属于校验矩阵$\mathbf{H}$的零空间(Null Space)。一旦构造完成$\mathbf{H}$之后，就可以获取生成矩阵。
可以先通过高斯-约当消元法将校验矩阵$\mathbf{H}$转换成如下形式：
$$\mathbf{H}=\left[{\mathbf{A}}_{\left(n-k\right)\times k},{\mathbf{I}}_{n-k}\right]\text{\hspace{1em}(11)}$$那么生成矩阵为：
$$\mathbf{G}=\left[{\mathbf{I}}_k,{\mathbf{A}}^T\right]\text{\hspace{1em}(12)}$$进而通过式(12)的矩阵相乘操作就可以完成LDPC编码。具体操作过程可以参考这篇LDPC码：编码举例。
虽然校验矩阵$\mathbf{H}$是稀疏的，但是生成矩阵$\mathbf{G}$往往不是，所以通过这种方式的编码复杂度为$O\left({\mathrm{n}}^2\right)$。这样的复杂度太高了，具体实现时其实是通过稀疏校验矩阵直接生成的编码码字，复杂度可以降低到$O\left(\mathrm{n}\right)$，博客低复杂度LDPC编码算法详细讨论了基于稀疏校验矩阵的低复杂度编码方法。

5. 译码 Decoding

LDPC的译码算法可以统称为一类“信息传递”算法，因为在译码中总是通过Tanner图的边在变量节点和校验节点之间传递“信息”。每个节点都是相互独立的，只有与之连接的边和该节点有信息传递。根据节点间信息类型传递的不同，译码算法有硬判算法和软判算法，常见的有：比特翻转译码算法(硬)、信任传播译码算法(软)、和积译码算法(软)。
为了简要说明译码原理，这里仅介绍二进制对称信道BSC最简单的硬判算法，其他算法后续博客讨论。

硬判算法
这里还是以式(10)的校验矩阵为例，考虑编码后待发送的码字为$\mathbf{s}=\left[1,0,0,1,0,1,0,1\right]$，假设经过信道后只有$s_1$发生了错误，从”0”变成了”1”，即接收到的码字变成了$\mathbf{y}=\left[1,1,0,1,0,1,0,1\right]$。
算法步骤可以概括为如下：
第一步：所有的变量节点$v_i$给与之相连的校验节点$c_j$传递一个“信息”，这个“信息”是变量节点认为自己正确的比特信息 (“0”或”1”)。在算法开始之初，变量节点$v_i$只有接收信号所对应的比特位$y_i$。例如，变量节点$v_0$给校验节点$c_1$和$c_3$发送”1”，变量节点$v_1$给校验节点$c_0$和$c_1$发送$y_1$即”1”，以此类推。

第二步：每一个校验节点$c_j$计算一个响应信息，并发送给与之相连的变量节点。此响应信息是校验节点$c_j$认为变量节点$v_i$正确的比特信息 (“0”或”1”)，计算时假设与$c_j$相连的除了$i$之外的变量节点全部都是正确的，然后通过该校验节点对应的奇偶校验方程得出的变量节点$v_i$的比特信息。这里，每个校验节点$c_j$连接了4个变量节点，所以校验节点利用接收到的三个变量节点的信息，然后通过计算该节点对应的奇偶校验方程获得第四个变量节点的比特信息。表1给出了前两步的大致过程。

表1  校验节点的接收和发送过程

校验节点	接收/发送
$c_0$	接收：$c_1\to 1,c_3\to 1,c_4\to 0,c_7\to 1$ 发送： $0\to c_1,0\to c_3,1\to c_4,0\to c_7$
$c_1$	接收：$c_0\to 1,c_1\to 1,c_2\to 0,c_5\to 1$ 发送：$0\to c_0,0\to c_1,1\to c_2,0\to c_5$
$c_2$	接收：$c_2\to 0,c_5\to 1,c_6\to 0,c_7\to 1$ 发送：$0\to c_2,1\to c_5,0\to c_6,1\to c_7$
$c_3$	接收：$c_0\to 1,c_3\to 1,c_4\to 0,c_6\to 0$ 发送：$1\to c_0,1\to c_3,0\to c_4,0\to c_6$

第三步：变量节点接收来自校验节点的响应信息，然后变量节点会根据接收信号比特和校验节点反馈的附加响应信息综合判决当前节点的比特信息。最简单的方法是投票，统计”0”和”1”的票数，票多胜出。这里，每个变量节点有三个信息来判定当前的比特位，分别是接收信号和两个校验节点的响应信息。表2给出了这一步的过程。
第四步：判断校验矩阵方程是否都满足，如果满足或者达到设定迭代次数，则结束并反馈解码成功；否则返回第二步。

表2  变量节点的判决过程

变量节点	接收信号$y_i$	校验节点响应信息	判决
$v_0$	1	$c_1\to 0,c_3\to 1$	1
$v_1$	1	$c_0\to 0,c_1\to 0$	0
$v_2$	0	$c_1\to 1,c_2\to 0$	0
$v_3$	1	$c_0\to 0,c_3\to 1$	1
$v_4$	0	$c_0\to 1,c_3\to 0$	0
$v_5$	1	$c_1\to 0,c_2\to 1$	1
$v_6$	0	$c_2\to 0,c_3\to 0$	0
$v_7$	1	$c_1\to 1,c_2\to 1$	1

在此例中，第一次循环之后校验矩阵方程成立，那么迭代算法就结束了。成功译码。

总结

以上介绍的就是LDPC码最基础的内容，文中有三个方面没有展开介绍，分别是校验矩阵的构造、基于校验矩阵稀疏性的编码算法、软判译码的算法介绍，但是不影响对LDPC码原理和编、译码过程的理解。后续将进一步扩充，感兴趣的可以关注一下。

---

本文作者： 渺小的颗星
本文链接： https://blog.csdn.net/weixin_40319158/article/details/148202866?spm=1001.2014.3001.5501
版权声明： 转载请注明出处！

参考：
【1】D. J. C. MacKay, “Good error-correcting codes based on very sparse matrices,” IEEE Trans. Inform. Theory, vol. 45, no. 2, pp. 399–431, March 1999
【2】LDPC码：编码举例
【3】低复杂度LDPC编码算法