【通信原理 入坑之路】——信息论部分 之 离散无记忆信源的等长编码

课本上的讲解公式实在是太多啦！看得人头大，那么本文试图从繁杂的公式中梳理一下几种等长编码的方法，并在最后给出一些解题技巧。我们开始吧！

离散无记忆信源的等长编码

首先，我们记离散信源的符号集为： { S : S i , i = 1 , 2 , ⋯   , L } \{S:S_i, i=1,2,\cdots,L\} {S:Si​,i=1,2,⋯,L}它包含了L种不同的符号；信源的输出符号序列我们可以表示为： { X 1 , X 2 , ⋯   , X n } \{X_1, X_2, \cdots, X_n\} {X1​,X2​,⋯,Xn​}其中， X k ∈ { S : S i , i = 1 , 2 , ⋯   , L } X_k∈\{S:S_i, i=1,2,\cdots,L\} Xk​∈{S:Si​,i=1,2,⋯,L}.

接下来，我们对这个离散信源进行分组（$J$个为一组），那么根据排列组合的知识我们知道，最多可以得到：$L^J$种组合。我们看其中的某一组 $\alpha$（里面有 J 个符号）： { X 1 , X 2 , ⋯   , X J } \{X_1, X_2, \cdots, X_J\} {X1​,X2​,⋯,XJ​}

我们现在要做的，就是对这一共 $L^J$ 个组合进行编码。那么我们来看看用于编码的码元集 $C$。 { C 1 , C 2 , ⋯   , C D } \{C_1, C_2, \cdots, C_D\} {C1​,C2​,⋯,CD​}
这里的 $D$表示我们的码元集是 D 进制的。例如：如果 $D=2$，那么 C = { 0 , 1 } C = \{0, 1\} C={0,1}；如果 $D=4$，那么 C = { 0 , 1 , 2 , 3 } C = \{0, 1, 2, 3\} C={0,1,2,3}。诸如此类。

同时，我们设置的码元集中每一个符号都是等概率出现的，因此，根据前面的知识我们知道：码元集中的每一个符号的平均信息量可以写成：$$H=logD$$

而因为我们的码元集一共才只有 D 个元素，那可能是不够给 $L^J$ 来编码的，因此我们对于码元集，也是以 $n_J$个为一组来对信源组合进行编码的。比如上面的 $\alpha$组，我们就可以编码为：$$C_1{C}_2\cdots C_{n_J}$$

那么，为了保证 $L^J$种组合里面每一种组合都可以被唯一地编码，我们要求：$$D^{n_J}\ge L^J$$

OK！至此，其实我们的编码已经完成了，还有一件事情 —— 我们管编码完成的那个序列叫做码字。那么每一个码字所包含的平均信息量可以写成：$$n_{J}logD$$

那么因为 $C_1{C}_2\cdots C_{n_J}$ 这个序列唯一地表示 { X 1 , X 2 , ⋯   , X J } \{X_1, X_2, \cdots, X_J\} {X1​,X2​,⋯,XJ​}，所以相当于编码每一个信源符号所需要的平均信息量就是：$$\frac{n_{J}logD}{J}$$
上式我们也称之为编码速率，用 $R$ 表示：$R=\frac{n_{J}logD}{J}$

最后我们直接给出编码效率的表达式：$$\eta =\frac{H(X)}{R}$$
我们从直观上理解一下这个表达式的物理意义：分子 $H(X)$是信源种每一个符号所包含的平均信息量。而分母是编码一个信源符号所需要的平均信息量。那么很自然地，我们通信不就是为了信息不丢失地传输吗，那肯定没理由编码完了之后信源符号的信息量都给丢失了。也就是说：用于编码的信息量至少要包含信源符号的平均信息量。即：$$R\ge H(X)$$
所以编码效率始终是≤1的

---

1.1 单符号等长编码

这很简单，所谓单符号，就是 $J=1$，那么为了保证唯一编码，有：$$D^{n_J}\ge L$$
即：$$n_J\ge \frac{logL}{logD}$$
为了保证 $n_J$ 是整数，我们直接给他加上一个调整系数 ${\alpha }_1$：$$n_J=\frac{logL}{logD}+{\alpha }_1$$
所以$$R=logL+{\alpha }_{1}logL$$
即编码效率为：$$\eta =\frac{H(X)}{logL+{\alpha }_{1}logL}$$

1.2 联合编码

所谓联合编码，只不过就是 $J$不等于1了，那么还是一样：为了保证编码的唯一性，有：$$D^{n_J}\ge L^J$$
解得：$$n_J\ge J\frac{logL}{logD}$$

同样加上一个调整系数 ${\alpha }_2$，得：$$n_J=J\frac{logL}{logD}+{\alpha }_2$$
那么，也可以得到编码速率和编码效率为：$$R=logL+\frac{{\alpha }_{2}logD}{J}$$
$$\eta =\frac{H(X)}{logL+\frac{{\alpha }_{2}logD}{J}}$$
当 $J\to \infty$时，有：$$\eta =\frac{H(X)}{logL}$$
很明显，我们可以看出，联合编码的编码效率是比单符号等长编码的效率高的。

1.3 典型序列编码

首先我们来讲讲啥是典型序列：
还是一样，对于信源 { X 1 , X 2 , ⋯   , X n } \{X_1, X_2, \cdots, X_n\} {X1​,X2​,⋯,Xn​}
我们仍然以 J 个一组划分，得到 $L^J$ 个序列，其中某一个为： { X 1 , X 2 , ⋯   , X J } \{X_1, X_2, \cdots, X_J\} {X1​,X2​,⋯,XJ​}

我们设这一组J个符号的序列的信息量是：$I(\overline{X_J})$，那么每一个符号的平均信息量就是：$$\frac{I(\overline{X_J})}{J}$$
那么如果存在一个整数$\epsilon$，有： P { J [ H ( X ) − ε ] ≤ I ( X J ˉ ) ≤ J [ H ( X ) + ε ] } P\{J[H(X) - ε] ≤ I(\bar{X_J})≤ J[H(X) + ε]\} P{J[H(X)−ε]≤I(XJ​ˉ​)≤J[H(X)+ε]}

那么我们就说这个 J个符号的序列是典型序列。上式的物理意义就是这个序列里面每一个符号的平均信息量逼近信源的熵。 那么，显然，不满足上式的就是非典型序列。

好的，下面我们看看典型序列编码：
我们把信源一共 $L^J$ 种序列划分为典型序列和非典型序列。然后，我们只对典型序列进行编码，而对非典型序列均用某一个码字来代替。

经过课本blabla的一顿数学推导，我们得到了下面一个重要结论：

当J 足够大时，典型序列的个数 $|T_S|$满足：$$2^{J[H(X)-\epsilon ]}\le |T_S|\le 2^{J[H(X)+\epsilon ]}$$

那么，同样为了满足编码的唯一性，我们要求：$$D^{n_J}\ge 2^{J[H(X)+\epsilon ]}$$
得到：$$n_J\ge \frac{J[H(X)+\epsilon ]}{logD}$$
即：$$n_J=\frac{J[H(X)+\epsilon ]}{logD}+{\alpha }_3$$
$$\eta =\frac{H(X)}{J[H(X)+\epsilon ]+\frac{{\alpha }_{3}logD}{J}}$$
当 J 足够大时，编码效率是可以趋近于1 的。

最后一点我们要说的是：本节介绍的典型序列编码的方法是只对典型序列编码，而非典型序列只是用某一码字代替。那么这种代替码字在译码时就会出现错误。那么这个译码错误的概率我们应该如何表示呢？—— 对了！就是用非典型序列出现的概率就OK了， 如下：$$P_E=P[|\frac{I(\overline{X_J})}{J}-H(X)|>\epsilon ]$$
【值得注意是：信源的所有组合中，除了典型序列，剩下的就是非典型序列了】

而经过数学证明我们可以得到下面的重要式子：$$P_{非典型序列的概率}=P[|\frac{I(\overline{X_J})}{J}-H(X)|>\epsilon ]<\frac{{\sigma }_I^2}{J{\epsilon }^2}$$

这个式子有什么用呢？—— 如果题目给定了所要求的误码率 $P_E$，那么我们就可以计算得到满足该误码率所需要的 $J$

值得注意的是：当信源给定之后，我们有如下定理：
若 $R>H(X)$ 则这个编码速率是可达的；如果 $R<H(X)$ 那么这个编码速率是不可达的。
所谓的“可达”就是指如果存在一个码长 $J_0$ 和一个任意的 $\epsilon >0$，使得 $J>J_0$ 时，$P_E<\epsilon$

---

解题宝典：典型序列辨析

下面关于比较容易出错的典型序列，博主整理了一下相关的容易混淆的概念：

我们还是对信源输出序列按照 J 个一组划分，那么我们记第 $k$ 个典型序列为 $X_k$。那么典型序列有下面的性质：

【1】整个输出符号组的集合由典型序列和非典型序列组成。
【2】千万不要以为出现概率大的就是典型序列，典型序列集中各码组出现的概率几乎相等，为：$$P(X_k)=2^{-JH(S)}$$
【3】典型序列集码组中每一个符号所含的信息量近似等于信源的熵。
【4】在输出序列里面典型序列集所占的概率趋近于1

雷区：1. 个别典型序列出现的概率并不一定比典型序列出现的概率低。 2. 非典型序列总的概率很小，但非典型序列集中的码组数目并不一定小！

下面我们看两个例子，充分理解典型序列的辨析：
某二元信源服从二项分布：$$S_0:P(S_0)=0.8S_1:P(S_1)=0.2$$
（1）假如取：J=4，$\epsilon =0.5$，求相应的典型序列集。

---

首先，我们可以很容易计算出信源的熵为：$H(S)=0.7219$，下面根据典型序列的定义：$$H(S)-\epsilon \le \frac{I(\overline{X_J})}{J}\le H(S)+\epsilon$$
因为 J=4，所以我们就是把信源符号按照4个为一组的组合，我们来看看这4个符号的组合的信息量，然后验证是否满足上面的式子。所以我们把所有4个符号一组的可能情况都列出来：

下面我们就看不同的序列集，他们序列中平均每个符号的信息量是否在区间：$[H(S)-\epsilon ,H(S)+\epsilon ]=[0.2219,1.2219]$里面，如果是，那么该序列就是典型序列，反之。

经过筛选，我们就发现也只有4个序列是典型序列：$S_0{S}_0{S}_0{S}_1,S_0{S}_0{S}_1{S}_0,S_0{S}_1{S}_0{S}_0,S_1{S}_0{S}_0{S}_0$，但是我们发现就这四个序列，他们出现的概率的和居然是 0.8192，相比之下，尽管非典型序列有11个之多，但是他们总共出现的概率之和才是 0.1808. 所以，尽管非典型序列占据了较大比例的排序组合，但是其出现仍然是小概率事件。

下面我们更加深入一点探讨典型序列编码：

问：如果信源还是上面的分布，如果我们要求误码率是 $P_E=10^{-4}$，且编码效率 $\eta =0.9$，问所需编码得符号码组长度 J 是多少？

首先，我们知道，编码效率可以写成：$$\eta =\frac{H(S)}{R}$$
而因为是典型序列编码，$H(S)$是很接近 $R$ 的，所以我们设：$R=H(S)+\epsilon$，那么编码效率进一步表示成：$$\eta =\frac{H(S)}{H(S)+\epsilon }=0.9$$
而 $H(S)$ 我们刚刚已经算出来是 0.7219，所以，我们算出来 $\epsilon =0.0802$

下面我们回顾典型序列编码的误码率公式：$$P_E=\frac{{\sigma }_I^2}{J{\epsilon }^2}$$

我们下面计算符号自信息量的方差 ${\sigma }_I^2$，由公式：$${\sigma }_I^2=\sum _{i=1}^{L}p(S_i)[I(S_i)-H(S){]}^2$$

我们可以算出来：${\sigma }_I^2=0.64$，最终带入公式，我们发现所需要的 $J$ 居然是 $10^5$ 数量级的，实际中要用这么长的序列编码显然是不现实的。因此就引入了我们后面的霍夫曼编码。