LDPC码Gallager论文解读

本文主要是解读Gallager关于LDPC码的论文《Low-Density Parity-Check Codes》，也记录了一些论文里不包含但是很重要的相关资料。
最近研究点涉及到LDPC编码，将学习到的内容在此博客中记录，供学习交流，有错误之处还请指正。
持续更新中。。。

Gallager论文解读：低密度奇偶校验码

Low-Density Parity-Check Codes （LDPC）

简介

LDPC码是麻省理工学院Robert Gallager于1963年在博士论文中提出的一种具有稀疏校验矩阵的分组纠错码。几乎适用于所有的信道，因此成为编码界近年来的研究热点。它的性能逼近香农限，且描述和实现简单，易于进行理论分析和研究，译码简单且可实行并行操作，适合硬件实现。

定义：（来自百度LDPC码）
任何一个 $(n，k)$ 分组码，如果其信息元与监督元之间的关系是线性的，即能用一个线性方程来描述的，就称为线性分组码。
低密度奇偶校验码图（LDPC码）本质上是一种线形分组码，它通过一个生成矩阵 $G$ 将信息序列映射成发送序列，也就是码字序列。对于生成矩阵 $G$，完全等效地存在一个奇偶校验矩阵 $H$，所有的码字序列 $C$构成了 $H$ 的零空间 (null space)，即 。

LDPC 码的奇偶校验矩阵H是一个稀疏矩阵，相对于行与列的长度，校验矩阵每行、列中非零元素的数目(我们习惯称作行重、列重)非常小，这也是LDPC码之所以称为低密度码的原因。由于校验矩阵H的稀疏性以及构造时所使用的不同规则，使得不同LDPC码的编码二分图(Taner图)具有不同的闭合环路分布。而二分图中闭合环路是影响LDPC码性能的重要因素，它使得LDPC码在类似可信度传播(Belief ProPagation)算法的一类迭代译码算法下，表现出完全不同的译码性能。
当H的行重和列重保持不变或尽可能的保持均匀时，我们称这样的LDPC码为正则LDPC码，反之如果列、行重变化差异较大时，称为非正则的LDPC码。研究结果表明正确设计的非正则LDPC码的性能要优于正则LDPC。根据校验矩阵H中的元素是属于 $GF(2)$ 还是 $GF(q)(q=2p)$，我们还可以将LDPC码分为二元域或多元域的LDPC码。研究表明多元域LDPC码的性能要比二元域的好。

论文摘要部分

 Summary–A low-density parity-check code is a code specified by a parity-check matrix with the following properties: each column contains a small fixed number $j\ge 3$ of 1’s and each row contains a small fixed number $k>j$ of 1’s. The typical minimum distance of these codes increases linearly with block length for a fixed rate and fixed $j$. When used with maximum likelihood decoding on a sufficiently quiet binary-input symmetric channel, the typical probability of decoding error decreases exponentially with block length for a fixed rate and fixed $j$.
 A simple but nonoptimum decoding scheme operating directly from the channel a posteriori probabilities is decribed. Both the equipment complexity and the data-handling capacity in bits per second of this decoder increase approximately linearly with block length.
 For $j>3$ and a sufficiently low rate, the probability of error using this decoder on a binary symmetric channel is shown to decrease at least exponentially with a root of the block length. Some experimental results show that the actual probability of decoding error is much smaller than this theoretical bound.

1. 数据传输编码

LDPC编码属于信道编码，本质是为了提高信道的可靠性；
LDPC是一种线性分组码，码字由信息位和校验位组成；

属于信道编码
码字 = 信息位 + 校验位

主要测试以下两种信道下的编码效果：

1. BSC （Binary Symmetric Channel）：二进制对称信道
2. White Gaussian Noise Channel：高斯白噪声信道

低密度奇偶校验码是奇偶校验码的改进。

• 问：为什么会出现LDPC？
• 答：因为奇偶校验码的解码很难应用，而使用低密度则有很合适的解码方案。虽然LDPC码不是最好的码，但是由于存在很简单的解码方案，弥补了不是最优码的缺憾。

对比：奇偶校验码和低密度奇偶校验码？
包括：编码方式对比、解码方式对比、编码效果对比、数据率对比等

2. 编码

LDPC码的矩阵形式可以用$(n,j,k)$表示

$(n,j,k)$中$n$表示码长，$j$表示矩阵每列1的个数，$k$表示矩阵每行1的个数。

下图是奇偶校验矩阵的一个案例：

图二是LDPC码$(20,3,4)$的矩阵表示案例，虽然LDPC码的形式不是信息位和比特位组合的形式，但是可以通过一定的线性变换转换成那种形式：

LDPC码虽然不是最好的码，但是该编码方案存在非常简单的解码方案，这弥补了它不是最好的码的缺憾。

These codes are not optimum in the somewhat artificial sense of minimizing probability of decoding error for a given block length, and it can be shown that the maximum rate at which these codes can be used is bounded below channel capacity. However, a very simple decoding scheme exists for low-density codes, and this compensates for their lack of optimality.

Gallager码的构造

Gallager码$(n,j,k)$的构造步骤：

1. 将码集矩阵其分成 $j$ 个子矩阵，每个矩阵每列只有 1 个1；
2. 第一个子矩阵中的1成下降趋势构成，如Fig. 2；
3. 其它子矩阵由第一个子矩阵通过随机列置换构成。

除了Gallager的构造方法，还有很多其它构造方法，如下三角法构造。

Gallager说这种码集的构造方法能够证明含有两个有意思的结果：

1. 码距
2. 解码错误的概率

There are two interesting results that can be proven using this ensemble, the first concerning the minimum distance of the member codes, and the second concerning the probability of decoding error.

请思考：为什么使用这种方式构造？
见如下解读：
（未完待续。。。）

3. 解码

Gallager主要提出了两种解码方案：

1. Probabilistic Decoding
   该方案简单，但是只能用于BSC并且码率远小于信道容量的情况；
2. Probability of Error Using Probabilistic Decoding
   从信道输出的后验概率中解码。

在第一种解码方案中：该方案只适用于校验集比较小的情况，此时解码解码过程才合理，因为大部分校验集要么只有一个不满足要么都被满足。解码器计算所有的校验矩阵，当某一位数据位使得多个校验矩阵不满足时，则改变此数据位的值；使用此改变后的值继续计算校验矩阵，直到所有的校验矩阵都满足。

In the first decoding scheme, the decoder computes all the parity checks and then changes any digit that is contained in more than some fixed number of unsatisfied parity-check equations. Using these new values, the parity checks are recomputed, and the process is repeated until the parity checks are all satisfied.

当出错的数据位d超过1位该怎么办？见如下分析：
校验集节点可如下Fig. 6表示，选择一个出错的数据位d，将其作为根节点，与d相关联的边表示包含d节点的校验矩阵；在子节点下重复此过程，直到将全部校验方程表述完为止。

节点：码字
边：校验矩阵

此图中包含两层节点，假设节点d和处于第一层的部分节点传输错误，则第二层中无错误的节点和校验矩阵能够解码出第一层的错误节点；重复此过程，节点d能够在第二次迭代后被成功解码。

解码方案一：概率解码 Probabilistic Decoding

理论分析

已知接收到的符号为 { y } \{y\} {y} 且 发送的码字d满足第 $j$ 个校验方程$S$，则令码字d为1的概率表示如下：
P r [ x d = 1 ∣ { y } , S ] P_r[x_d=1 | \{y\}, S] Pr​[xd​=1∣{y},S]

定理1：$P_d$ 表示已知接收的码字则第 $d$ 位为1的概率，$P_{il}$ 表示接收的码字的第 $l$ 位满足第 $i$ 个校验方程的概率，$S$ 表示发送的码字满足所有的校验方程，则：
P r [ x d = 0 ∣ { y } , S ] P r [ x d = 1 ∣ { y } , S ] = 1 − P d P d ∏ i = 1 j 1 + ∏ l = 1 k − 1 ( 1 − 2 P i l ) 1 − ∏ l = 1 k − 1 ( 1 − 2 P i l ) （ 1 ） \frac{ P_r[x_d=0 | \{y\}, S] } { P_r[x_d=1 | \{y\}, S] } = \frac{1 - P_d}{P_d} \prod_{i=1}^{j} \frac{ 1 + \prod_{l=1}^{k-1} (1-2P_{il}) }{ 1 - \prod_{l=1}^{k-1} (1-2P_{il}) } \qquad\qquad\qquad（1） Pr​[xd​=1∣{y},S]Pr​[xd​=0∣{y},S]​=Pd​1−Pd​​i=1∏j​1−∏l=1k−1​(1−2Pil​)1+∏l=1k−1​(1−2Pil​)​（1）

为了证明定理1，我们需要如下引理。
引理1：设 $m$ 长独立二元序列中第 $l$ 位是1的概率为 $p_l$，则序列中含偶数个1的概率为:
$$\frac{1+{\prod }_{l=1}^m(1-2P_l)}{2}..........P_{偶数个1}$$
含奇数个1的概率为：
$$\frac{1-{\prod }_{l=1}^m(1-2P_l)}{2}..........P_{奇数个1}$$

引理1证明：设 $f(t)={\prod }_{l=1}^m[(1-p_l)+p_{l}t]$，将其展开成 $t$ 的多项式形式。在 $f(t)$ 的展开式中，$t^{2k}$ 项的系数为 $m$ 长独立二元序列中出现 $2k$ 个1的概率。$t^{2k+1}$ 项的系数为n长独立序列中出现 $2k+1$ 个1的概率。因此，$t=1$ 时，$f(t)$ 中偶此项部分的和就是 $m$ 长独立二元序列中含有偶数个1的概率，该值可用下式计算：
$$\begin{gathered} \frac{f(1)+f(-1)}{2}=\frac{{\prod }_{l=1}^m[(1-p_l)+p_l]+{\prod }_{l=1}^m[(1-p_l)-p_l]}{2} \\ =\frac{1+{\prod }_{l=1}^m(1-2p_l)}{2} \end{gathered}$$
含奇数个1的概率为：
$$1-\frac{f(1)+f(-1)}{2}=\frac{1-{\prod }_{l=1}^m(1-2p_l)}{2}$$
引理1证毕。

定理1证明：根据Bayes准则有
P r [ x d = 0 ∣ { y } , S ] P r [ x d = 1 ∣ { y } , S ] = ( 1 − P d P d ) ( P r [ S ∣ x d = 0 , { y } ] P r [ S ∣ x d = 1 , { y } ] ) （ 2 ） \frac{ P_r[x_d=0 | \{y\}, S] } { P_r[x_d=1 | \{y\}, S] } = ( \frac{1 - P_d}{P_d} ) ( \frac{ P_r[S | x_d=0, \{y\}] }{ P_r[S | x_d=1, \{y\}] } ) \qquad\qquad\qquad（2） Pr​[xd​=1∣{y},S]Pr​[xd​=0∣{y},S]​=(Pd​1−Pd​​)(Pr​[S∣xd​=1,{y}]Pr​[S∣xd​=0,{y}]​)（2）
（注：$P_d$与迭代次数无关，由信道特性决定。 ）
已知 $x_d=0$，$d$ 所在的校验方程满足当且仅当该方程中其它 $(k-1)$ 个位置含有偶数个1，由于所有的数据都是统计独立的，因此，所有的 $j$ 个校验方程都被满足的概率就是单个校验方程被满足的概率。由引理1可得：
P r [ S ∣ x d = 0 , { y } ] = ∏ i = 1 j [ 1 + ∏ l = 1 k − 1 ( 1 − 2 p i l ) 2 ] （ 3 ） P_r[S | x_d=0, \{y\}] = \prod_{i=1}^j [\frac{1 + \prod_{l=1}^{k-1} (1 - 2p_{il})}{2}] \qquad\qquad\qquad（3） Pr​[S∣xd​=0,{y}]=i=1∏j​[21+∏l=1k−1​(1−2pil​)​]（3）
同样的，
P r [ S ∣ x d = 1 , { y } ] = ∏ i = 1 j [ 1 − ∏ l = 1 k − 1 ( 1 − 2 p i l ) 2 ] （ 4 ） P_r[S | x_d=1, \{y\}] = \prod_{i=1}^j [\frac{1 - \prod_{l=1}^{k-1} (1 - 2p_{il})}{2}] \qquad\qquad\qquad（4） Pr​[S∣xd​=1,{y}]=i=1∏j​[21−∏l=1k−1​(1−2pil​)​]（4）
定理1证毕。

解码过程

从上述结果可以看出，当层数很多时，解码很困难。但是，可以使用简单的迭代技术计算任意层的情况。

Judging from the complexity of this result, it would appear difficult to compute the probability that the transmitted digit in position d is a 1 conditional on the received digits in two or more tiers of the tree in Fig. 6. Fortunately, however, the many-tier case can be solved from the l-tier case by a simple iterative technique.

Gallager的分析如下：
首先考虑只有两层的示例，根据第二层接收到的数据能够得出第一层每个数据为1的概率；然后，根据得到的第一层的数据，可以得到接收到的节点 $d$ 为1的概率。这个过程的有效性取决于根据定理1得到的新增的 $P_{il}$ 的独立性。通过归纳，可以根据任意层数的节点得出接收到的节点 $d$ 为1的概率。
对于每个节点 $d$ 来说，使用公式（1）能够得出该节点更新后的概率；计算另一个节点的概率时，使用更新后的其它所有节点带入（1）中计算。如果能够成功解码，则随着迭代次数的增加，每个节点的概率都会趋于0或1（取决于发送的数据）。
迭代过程有效性说明：
迭代过程的有效性取决于公式（1）中的独立性假设被满足；当树节点出现环时，假设不成立。由于每层节点的个数都比上一层多 $(j-1)(k-1)$ 个，当 $m$ 特别小的时候，也就是码字很小，这个假设肯定会不成立。然而，基于合理的假设即相关性的影响比较小而且在某种程度上可以消除影响，独立性的假设可以被忽略；并且，即使在 $m$ 层不再满足独立性，但是前 $m-1$ 次迭代已经能够减少了每个节点 $d$ 的不确定性程度，然后可以将 $m-1$ 次后的结果作为原始接收序列重新迭代。

迭代次数

这种迭代方案的最重要的特点就是每个节点 $d$ 的每次迭代计算和块长是独立的。因此，解码过程需要的平均迭代次数由一个与块长度的对数成比例的数量限制。

实际计算的优化

为了在实际计算中更方便地计算定理（1），通过对数似然比可以更方便地运算，如下：
$$\ln \frac{1-P_d}{P_d}={\alpha }_d{\beta }_d,\ln \frac{1-P_{il}}{P_{il}}={\alpha }_{il}{\beta }_{il}$$
ln ⁡ [ P r [ x d = 0 ∣ { y } , S ] P r [ x d = 1 ∣ { y } , S ] ] = α d ′ β d ′ \ln[\frac{ P_r[x_d=0 | \{y\}, S] }{ P_r[x_d=1 | \{y\}, S] }] = \alpha_d^{'} \beta_d^{'} ln[Pr​[xd​=1∣{y},S]Pr​[xd​=0∣{y},S]​]=αd′​βd′​
其中， $\alpha$ 表示 $sign$ 函数（如下图），$\beta$ 表示对数似然比的量级。

【此处实际计算过程等待补充。。。】

解码方案二：使用概率解码的错误概率 （Probability of Error Using Probabilistic Decoding）

Case1: $j=3$
概率译码的数学分析比较困难，但可以很容易地推导出误差概率的一个很弱的界。
假设BSC信道的交叉概率为 $p_0$ 和包含所有码字的 $j=3$ 的 $(n,j,k)$ 码。参考Fig. 6，从上往下标记层数，即最上层为第0层，需要解码的数据 $d$ 处于第 $m$ 层。
按照如下方式改变解码过程：如果与第一层中的某个数据相关的两个校验矩阵都不被满足，则改变此数据；将改变后的数据作为第一层的新数据，在第二层中重复此过程；在其它层中重复此过程，直到得出最后一层 $d$ 的概率值。
采用此过程，数据 $d$ 的解码错误概率是方案一中迭代m次后得到的概率的上限。虽然两种方案都是基于m层数中的接收数据，但是方案一的概率译码（Probabilistic Decoding）总是从这些数据中选择最可能的决定。

问：为什么方案二的错误概率是方案一的上限？
答：因为方案一总是选择最可能的决定即改变使得校验方程不满足的个数最大的码字，而方案二选择的是当两个校验矩阵不满足的码字，明显方案一更准确。

如果一个数据位接收错误的概率为 $p_0$，那么校验方程不满足的概率为这个校验方程中其它 $k-1$个数据位中有偶数个数据不满足的概率，即 $k-1$个数据位中有偶数个1的概率，概率值为：
$$\frac{1+(1-2p_0{)}^{k-1}}{2}（7）$$

由于，只有当有两个与该数据位有关的校验矩阵不满足时，才纠正该错误，则第一层中数据位出现错误并且被纠正的概率可表示如下：
$$p_0[\frac{1+(1-2p_0{)}^{k-1}}{2}{]}^2.....P[对|错]（8）$$
类似的，则第一层中数据位本来正确但是被改变的概率可表示如下：
$$(1-p_0)[\frac{1-(1-2p_0{)}^{k-1}}{2}{]}^2.....P[错|对]（9）$$
综合公式（8）和（9），通过此方案迭代后，第一层中某个数据的错误率($p_1=p_0-P[对|错]+P[错|对]$)可表示如下：
$$p_1=p_0-p_0[\frac{1+(1-2p_0{)}^{k-1}}{2}{]}^2+(1-p_0)[\frac{1-(1-2p_0{)}^{k-1}}{2}{]}^2（10）$$
分析迭代过程，简单表示（后面的公式13是更准确的表示） $p_{i+1}$ 和 $p_i$ 的关系如下：
$$p_{i+1}=p_0-p_0[\frac{1+(1-2p_i{)}^{k-1}}{2}{]}^2+(1-p_0)[\frac{1-(1-2p_i{)}^{k-1}}{2}{]}^2（11）$$

对于特别小的 $p_0$，序列 $[p_i]$ 收敛于0，通过数据图可得出此结论， $p_{i+1}$ 和 $p_i$ 的关系图如下：

从图中可知，
$$0<p_{i+1}<p_i(for0<p_i\le p_0)（12）$$
$$p_{i+1}=p_i(for{p}_i=0)$$

Fig. 9展示了不同 $k$ 所对应的最大的 $p_0$ .

对于比较小的 $p_i$ 来说，当 $[p_i\to 0]$ 时，（11）可以表示如下：
$$p_{i+1}\approx p_{i}2(k-1)p_0$$
（提示：${\lim }_{x\to 0}(1+x{)}^{\frac{1}{x}}=e且e^x=1+x+x^2+...$）
因此，当迭代次数 $i$ 足够大时，
$$p_i\approx c[2(k-1)p_0{]}^i$$
$c$ 是只取决于 $i$ 的常数。由于树中独立层的数量随块长度呈对数增长，因此当块长度的负幂次较小时，解码错误的概率趋近于0。这种缓慢的接近0的方法似乎是译码方案修改和严格的独立性要求的结果，而不是概率译码作为一个整体的结果。
我关于负幂次的理解：块长度的负幂次较小即 $n^{-1}$ 较小，即 $n$ 较大，则独立层的数量越大，则可迭代的次数越大，则解码概率趋近于 0。
若该理解有误还请批评指正，非常感谢。
思考：对比上一解码方式，思考此方式中的缓慢接近于0

Case2: $j>3$
同样的论证可以应用于每个数据位多余3个校验集的情况中，对于正整数 $d$ ，当且仅当一个数据位不满足的校验方程个数大于等于 $d$ 时才改变此数据位（在上面的案例中， $d=2$ ），因此，使用与（11）相同的证明可得如下更一般的情况：
$$\begin{gathered} p_{i+1}=p_0-p_0\sum _{l=b}^{j-1}\left(\genfrac{}{}{0ex}{}{j-1}{l}\right)[\frac{1+(1-2p_i{)}^{k-1}}{2}{]}^l[\frac{1-(1-2p_i{)}^{k-1}}{2}{]}^{i-1-l} \\ +(1-p_0)\sum _{l=b}^{j-1}\left(\genfrac{}{}{0ex}{}{j-1}{l}\right)[\frac{1-(1-2p_i{)}^{k-1}}{2}{]}^l[\frac{1+(1-2p_i{)}^{k-1}}{2}{]}^{i-1-l}(13) \end{gathered}$$
因此，整数 $d$ 可以用来最小化 $p_{i+1}$ 。最小值的解就是满足下面不等式的最小的整数 $d$ ：
$$\frac{1-p_0}{p_0}\le [\frac{1+(1-2p_i{)}^{k-1}}{1-(1-2p_i{)}^{k-1}}{]}^{2b-j+l}(14)$$
从这个公式中可以看出， $p_i$ 减小的时候， $b$ 也减小。Fig. 10刻画了当 $b$ 改变时， $p_{i+1}$ 和 $p_i$ 的关系，图中的断点表示 $b$ 的变化，

对于足够小的交叉概率来说，随着迭代次数的增加，解码错误率趋于0的证明和之前的证明相同。但是，序列 $[p_i\to 0]$ 的渐进法和之前的证明不同。参照（14），如果 $p_i$ 足够小，当 $j$ 为偶数时， $b$ 取 $j/2$ ;当 $j$ 为奇数时， $b$ 取 $(j+1)/2$ 。使用上述定义的 $b$ ，（13）可以如下扩展：
$$p_{i+1}=p_0\left(\genfrac{}{}{0ex}{}{j-1}{\frac{j-1}{2}}\right)(k-1{)}^{(i-1)/2}{p}_i^{(i-1)/2}+高阶项（j为偶数）（15）$$
$$p_{i+1}=\left(\genfrac{}{}{0ex}{}{j-1}{j/2}\right)(k-1{)}^{i/2}{p}_i^{i/2}+高阶项（j为奇数）$$
据此，当选择了正的常数 $C_{jk}$ 和足够大的迭代次数 $i$ 后，
$$p_i\le exp[-C_{jk}(\frac{j-1}{2}{)}^i]（j为偶数）(16)$$
$$p_i\le exp[-C_{jk}(\frac{j}{2}{)}^i]（j为奇数）$$

两个解码方案的区别

1. 方案一中根节点为第0层，方案二中根节点为第m层；但都是从上向下执行迭代过程。
2. 方案二的错误概率是方案一的上限，因为方案一总是选择最可能的决定即改变使得校验方程不满足的个数最大的码字，而方案二选择的是当两个校验矩阵不满足的码字，明显方案一更准确。

4. 实验结果

[未完待续。。。]

---

参考阅读：

1. 论文原文：Cancellieri G . Low Density Parity Check Codes[J]. 1963.
2. 和计算法：置信传播算法
3. 参考教材：《现代编码理论 赵晓群编》，入门推荐阅读，LDPC码部分已拍照存为PDF，百度云下载