信息论复习四：信源编码

这节我们复习信源编码！！！

首先了解编码的概念，然后了解码的种类，其中等长非奇异码是唯一可译码，即时码也是唯一可译码。

接着就是唯一可译码存在定理：即唯一可译码需要满足的条件，也就是说满足kraft不等式不一定是唯一可译码，但唯一可译码必须满足Kraft不等式。

然后就是重要的定长信源编码定理，即定长码编码速率大于信源熵的时候既可以实现无失真传输！！！

接下来就是编码效率和熵的关系，这个作为了解。

然后就是变长码编码定理，里面注意平均码长的计算和编码效率的计算，总的来说就是如国编码速率大于信源熵，则可以实现无失真传输，否则，不能！！！这也就是香农第一定理，信源编码定理！！！

 接下来就是三大编码，香农编码，范诺编码和哈夫曼编码，以及对应的例题！！！

香农编码：

(1) 将信源消息符号按其出现的概率大小依次排列 p1 ≥ p2 ≥ … ≥ pn
(2) 确定满足下列不等式的整数码长Li为 -log2(pi) ≤ Li < -log2(pi) + 1，自信息向上取整即为码长
(3) 为了编成唯一可译码, 计算第i个消息的累加概率，累加概率为前面i-1个消息的概率之和
(4) 将累加概率Pi转换成二进制数。
(5) 取Pi二进数的小数点后Li位即为该消息符号的二进制码字。

范诺编码:

 (1) 将信源消息符号按其出现的概率大小依次排列: p1 ≥ p2 ≥ … ≥ pn
(2) 将依次排列的信源符号按概率值分为两大组, 使两个组的概率之和近于相同, 并对各组赋予一个二进制符号“0”和“1”。
(3) 将每一大组的信源符号进一步再分成两组, 使划分后的两个组的概率之和近似相同, 并对各组赋予一个二进制符号“0”和“1”。
(4) 如此重复, 直至每个组只剩下一个信源符号为止。

(5) 信源符号所对应的码字即为范诺码。

哈夫曼编码:

(1) 将信源消息符号按其出现的概率大小依次排列: p1 ≥ p2 ≥ … ≥ pn
(2) 将两个概率最小的符号sn-1和sn各分配一个0和1，并将这两个符号合并成一个新符号，并用这两个最小的概率之和最为新符号的概率，结果得到一个包含n-1个信源符号的新信源，用S1表示。
(3) 将S1的符号仍然按照概率从大到小排列，重复2，得到一个n-2个符号的信源S2。(合并后的概率和其他概率相等时，将合并的概率当大概率排列，此时码长方差比较小)
(4) 如此重复, 直至缩减为两个符号。
(5) 从最后一级开始，依编码路径向前返回，得到各个信源对应的码字。

 

 

以上就是本节的内容！！！

持续更新中！！！