【卷积码基础】第一章介绍之分组码 Part1

第一章 介绍 Introduction

1.2 分组码

1.2.1 Intro

简单起见，仅研究二进制分组码。考虑一整个信息比特序列被分为若干个长度为$K$比特的码块，这些码块被称为消息(messages)，用$\mathbf{u}=u_0{u}_1\dots u_{K-1}$来表示。在分组码中，通常用$\mathbf{u}$表示一条消息，而不是整个信息比特序列，在卷积码中也一样。

二进制$(N,K)$分组码$\mathcal{B}$是$M=2^K$个二进制$N$元组的集合，$\mathbf{v}=v_0{v}_1\dots v_{N-1}$称为码字（codewords），$N$称为分组长度。比例
$$R=\frac{\log M}{N}=\frac{K}{N}$$
称为码率（code rate），单位是bits/channel use。单位为bits/s的数据传输率可以通过码率乘以每秒传输的信道符号数量得到
$$R_t=R/T$$
如果我们以bits/channel use(bits/c.u.)为单位描述BSC信道的信道容量，可以得到BSC的信道容量为
$$C=1-h(ϵ)\text{ (bits/c.u.) }$$
根据香农信道编码理论，对于可靠通信，必须有$R\le C$，同时分组长度$N$应充分大。

码率$R=K/N$是码字中表示信息所必须的二进制所占的比例，剩余的部分即$1-R=(N-K)/N$表示冗余度(redundancy)，这些冗余可以帮助检测或纠正错误。

假设对应于消息$\mathbf{u}$的码字$\mathbf{v}$通过一个BSC信道发送。信道的输出$\mathbf{r}=r_0{r}_1\dots r_{N-1}$称为接收序列。译码器将接收到的可能被噪声污染的$N$元组$\mathbf{r}$转换成$K$元组$\hat{\mathbf{u}}$，称为对消息$\mathbf{u}$的估计。理想情况下，$\hat{\mathbf{u}}$应该为$\mathbf{u}$的副本，但是信道噪声会引起一些译码错误。由于消息$\mathbf{u}$和码字$\mathbf{v}$存在一对一的对应关系，因此可以等价地考虑$N$元组$\hat{\mathbf{v}}$作为译码的输出。如果一个码字$\mathbf{v}$被传输，那么当且仅当$\hat{\mathbf{v}}\ne \mathbf{v}$时发生了译码错误。

令$P_E$指代分组错误概率(block or word error probability)，也就是译码输出$\hat{\mathbf{v}}$不同于传输码字$\mathbf{v}$的概率。有
$$P_{\mathrm{E}}=\sum _{\mathbf{r}}P(\hat{\mathbf{v}}\ne \mathbf{v}\mid \mathbf{r})P(\mathbf{r})$$
其中，接收到序列$\mathbf{r}$的概率$P(\mathbf{r})$独立于译码规则，且$P(\hat{\mathbf{v}}\ne \mathbf{v}\mid \mathbf{r})$是给定接收序列$\mathbf{r}$的条件译码错误概率。因此，为了最小化$P_E$，我们应该指定译码器最小化给定接收序列$\mathbf{r}$下的条件译码错误概率$P(\hat{\mathbf{v}}\ne \mathbf{v}\mid \mathbf{r})$，或者等价地，最大化$P(\mathbf{v}|\mathbf{r})\stackrel{\text{ def }}{=}$ $P(\hat{\mathbf{v}}=\mathbf{v}|\mathbf{r})$。因此，当译码器选择$\hat{\mathbf{u}}$使得对应的$\hat{\mathbf{v}}=\mathbf{v}$最大化$P(\mathbf{v}|\mathbf{r})$时，分组错误概率$P_E$被最小化。也就是说，$\mathbf{v}$是与接收序列$\mathbf{r}$最相似的码字。这种译码器称为最大后验概率（maximum a posteriori probability，MAP）译码器。
通过贝叶斯准则，可以写出
$$P(\mathbf{v}\mid \mathbf{r})=\frac{P(\mathbf{r}\mid \mathbf{v})P(\mathbf{v})}{P(\mathbf{r})}$$
给定码字的个数，当码字出现的可能性相等时，该编码携带最多的信息。可以合理的假设，当码字出现的可能性不等时，即当传输的信息较少时，为这种情况设计的译码器也能令人满意地工作——尽管不是最佳的。当码字出现的可能性相等时，最大化$P(\mathbf{v}\mid \mathbf{r})$等价于最大化$P(\mathbf{r}\mid \mathbf{v})$。这种作出判决$\hat{\mathbf{v}}=\mathbf{v}$使得$P(\mathbf{r}\mid \mathbf{v})$最大化的译码器叫做最大似然（maximum-likelihood，ML）译码器。

注意，在码字的错误判决中，一些信息比特位仍然可能是正确的。在大多数应用中，比特错误概率是衡量编码好坏的更好方法。然而，它通常更难计算。像分组错误概率一样，比特错误概率不仅取决于编码规则和信道，而且还取决于编码器和信息符号。

使用分组错误概率来衡量编码的好坏是合理的，因为有以下不等式$$P_b\le P_E$$
这个不等式意味着当$P_E$足够小的时候，$P_b$也足够小。

1.2.2 汉明距离

两个$N$元组$\mathbf{r}$和$\mathbf{v}$之间的汉明距离(Hamming Distance)是指它们对应位置不同的元素个数，表示为$d_H(\mathbf{r},\mathbf{v})$。汉明距离是编码理论中重要的一个概念，它有以下性质：

1. $d_{\mathrm{H}}(\mathbf{x},\mathbf{y})\ge 0$ 当且仅当$\mathbf{x}=\mathbf{y}$时取等号。（正定性）
2. $d_{\mathrm{H}}(\mathbf{x},\mathbf{y})=d_{\mathrm{H}}(\mathbf{y},\mathbf{x})$（对称性）
3. 对于任意$\mathbf{z}$，$d_{\mathrm{H}}(\mathbf{x},\mathbf{y})\le d_{\mathrm{H}}(\mathbf{x},\mathbf{z})+d_{\mathrm{H}}(\mathbf{z},\mathbf{y})$（三角形不等式）

$N$元组$\mathbf{x}=x_0{x}_1\dots x_{N-1}$的**汉明重量(Hamming Weight)**是指$\mathbf{x}$中非零元素的个数，表示为$w_{\mathrm{H}}(\mathbf{x})$。

对于BSC，发送的符号以概率$ϵ$被错误地接收，其中$ϵ$也被称为信道交叉概率。因此，假设ML解码，我们必须使码字$\mathbf{v}$的判决$\hat{\mathbf{v}}$能够最大化$P(\mathbf{r}\mid \mathbf{v})$，也就是说，
v ^ = arg ⁡ max ⁡ v { P ( r ∣ v ) } \widehat{\boldsymbol{v}}=\arg \max _{\boldsymbol{v}}\{P(\boldsymbol{r} \mid \boldsymbol{v})\} v =argvmax​{P(r∣v)}
其中，
$$P(\mathbf{r}\mid \mathbf{v})={ϵ}^{d_{\mathrm{H}}(\mathbf{r},\mathbf{v})}(1-ϵ{)}^{N-d_{\mathrm{H}}(\mathbf{r},\mathbf{v})}=(1-ϵ{)}^N{\left(\frac{ϵ}{1-ϵ}\right)}^{d_{\mathrm{H}}(\mathbf{r},\mathbf{v})}$$
由于对于BSC，$0<ϵ<1/2$，有
$$0<\frac{ϵ}{1-ϵ}<1$$
因此，最大化 $P(\mathbf{r}\mid \mathbf{v})$等价于最小化$d_H(\mathbf{r},\mathbf{v})$，此时ML译码等价于最小（汉明）距离（minimum (Hamming) distance ，MD）译码器。

汉明距离和汉明重量的关系：
在向量空间${\mathbb{F}}_2^N$中，有
$$d_{\mathrm{H}}(\mathbf{x},\mathbf{y})=w_{\mathrm{H}}(\mathbf{x}-\mathbf{y})=w_{\mathrm{H}}(\mathbf{x}+\mathbf{y})$$
对于编码$\mathcal{B}$的最小距离$d_{\text{min}}$被定义为$d_{\mathrm{H}}\left(\mathbf{v},{\mathbf{v}}^{\prime }\right)$的最小值，其中$\mathbf{v}$和${\mathbf{v}}^{\prime }$都在$\mathcal{B}$中且$\mathbf{v}\ne {\mathbf{v}}^{\prime }$。

参考文献：
[1] Johannesson R, Zigangirov K S. Fundamentals of Convolutional Coding[B]. P8-12.