信息论-保研复习

Part 1 基本概念

1 信息量的概念，熵的概念  

Part 2离散信源无失真编码

1 从K个符号集选取变成长为L的信源符号->从D个符号集选取变成长度为N的码字

第一行是无失真传输的条件，右边是信源符号信息量的上线；第二个是一般情况认为是几乎无失真编码，有可能两个信源对应的是一个码字，但是失真随着L变大失真趋于零成为几乎无失真编码

2 典型序列的集合

平均每个符号的信息量再熵附近摆动范围内的所有序列集合 

3 离散无记忆信源的不等长编码

（1）异字头码：任何一个码字不是另一个码字的开头，是唯一可译码的一种

（2）Kraft不等式：异字头码存在的条件  唯一可译码也满足Kraft不不等式

（3）Huffman编码：异字头码的一种

（4）算术编码：

（5）LZ编码

Part3 信道及其容量

（1）信道容量定义：改变输入分布时，得到的平均互信息量的最大值。实现准对称DMC信道容量的输入分布是等概分布。

Part4 信道编码定理

R<=C

Part5 接近Shannon限的编码

Turb码，LDPC码，Polar码

 

Part 6离散信源有失真编码

（1）率失真函数的定义：如何计算率失真函数？如何找到合适的方法求得达到率失真函数的编码方法

（2）率失真函数是信息量最小值

（3）率失真函数的定义域计算问题：Dmax是R(D)=0时候即信息速率为0时候的失真度

（4）R(D)是一个关于D的下凸函数

香农三大定理：

第一定理：信源编码的极限，即无失真传输的信息速率的下线是熵，再低会产生失真现象

第二定理：只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小

第三定理：只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D.