第3章 信息论基础
1. 通信系统的组成
- 信源:产生消息
- 信道:传输消息
- 信宿:接收消息
2. 基本概念
通信中对信息的表达分为三个层次:信号,消息,信息。
- 信号:是信息的物理层表达,可测量,可描述,可显示。如电信号,光信号。
- 消息:是信息的载体,以文字,语言,图像等人类可以认知的形式表示。
- 信息:不确定的内容。
信息的特点
信息的测量:
自信息量
条件信息量
3. 信息熵
4. 条件熵和联合熵
5. 熵的性质
- 非负性:信源熵是非负值,即 H(X) >=0;
- 扩展性:信源熵X有M个符号,如果其中一个符号出现的概率趋于零,信源熵就等于剩余M-1个符号的信源熵;
- 极值性(最大信息熵):对于具有M个符号的信源,只有在所有符号等概率出现的情况下,信源熵达到最大值,即
- 可加性:
- 熵不增:条件熵不大于信息熵 H(X|Y) <= H(X);
- 联合熵不大于各信息熵的和,即H(XY) <= H(X) + H(Y)。
6. 互信息
- 物理意义:H(X)是X所含的信息,H(X|Y)是已知Y的条件下X还能带来的信息量。那么两者之差就是由于知道Y使得X减少的信息量,也即由Y可以得到的关于X的信息量。
7. 互信息量
8. 各种熵的关系
9. 信源编码
信源编码:将消息符号转变成信道可传输的信息。
两个基本问题:
- 用尽可能少的信道传输符号来传递信源消息,提高传输效率;
- 减少由于信道传输符号的减少导致的失真。
10. 离散信源统计特性
11. 离散信源类型:简单无记忆信源和马尔可夫信源
12. 编码分类
- 等长码:在一组码字集合C中的所有码字cm (m = 1,2, …,M),其码长都相同,则称这组码C为等长码。
- 变长码:若码字集合C中的所有码字cm (m = 1,2, …,M),其码长不都相同,称码C为变长码。
13. 平均码长
14. 等长码与变长码比较
- 等长编码将信源输出符号序列的任意一种取值(概率可能不同)都编码成相同长度的输出码字,没有利用信源的统计特性;
- 变长编码可以根据信源输出符号序列各种取值的概率大小不同,将他们编码成不同长度的输出码字,利用了信源的统计特性。因此又称其为熵编码。
15. Huffman编码
Huffman编码:典型的变长编码。
步骤:
- 将信源符号按概率从大到小的顺序排列,假定p(x1)≥ p(x2)… ≥ p(xn)
- 给两个概率最小的信源符号p(xn-1), p(xn)各分配一个码位"0"和"1",将这两个信源符号合并成一个新符号,并用这两个最小的概率之和作为新符号的概率,结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源,用S1表表示。
- 将缩减信源S1的符号仍按概率从大到小的顺序排列,重复步骤2,得到只含(n-2)个符号的缩减信源S2。
- 重复上述步骤,直至缩减信源只剩下两个符号为止,此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始,依编码路径向前返回,就得到各信源符号所对应的码字。
16. 信道编码
- 信道编码主要考虑如何增加信号的抗干扰能力,提高传输的可靠性,并且提高传输效率。
- 一般是采用冗余编码法,赋予信码自身一定的纠错和检错能力,使信道传输的差错概率降到允许的范围之内。
17. 信道类型
根据信道连续与否分类
- 离散信道
- 连续信道
- 半连续信道
根据信道是否有干扰分类
- 无干扰信道
- 有干扰信道
根据信道的统计特性分类
- 无记忆信道
- 有记忆信道
- 恒参信道
- 变参信道
- 对称信道
- 非对称信道
18. 信道容量
在信息论中,称信道无差错传输的最大信息速率为信道容量。
香农信道容量公式:
- 假设连续信道的加性高斯白噪声功率为N,信道带宽为B,信号功率为S,则该信道的容量为
- 由于噪声功率N与信道带宽B有关,则噪声功率N=n0B 。因此,仙农公式还可以表示为
19. 香农信道容量公式的意义
- 在给定B和S/N的情况下,信道的极限传输能力为C,而且此时能够做到无差错传输。如果信道的实际传输速率大于C 值,则无差错传输在理论上就已不可能。因此,实际传输速率一般不能大于信道容量C ,除非允许存在一定的差错率。
- 提高信噪比S/N(通过减小n0或增大S),可提高信道容量C。特别是,若n0->0,则C->∞ ,这意味着无干扰信道容量为无穷大;
- 增加信道带宽B,也可增加信道容量C,但做不到无限制地增加。这是因为,如果 S、n0一定,有
- 维持同样大小的信道容量,可以通过调整信道的B及S/N来达到,即信道容量可以通过系统带宽与信噪比的互换而保持不变。
20. 失真
- 失真:信源的消息经过编解码后不能完全复原
-
在实际的信源和信道编码中,消息的传输并不总是无失真的。
- 由于存储和传输资源的限制
- 噪声等因素的干扰
21. 率失真理论
-
仙农定义了信息率失真函数R(D)
- D是消息失真
- R是码率
- 率失真定理:在允许一定失真度D的情况下,信源输出的信息率可压缩到R(D)。
22. 失真函数
- 失真函数:信源符号X={x1, x2, …..xn},经信道传输接收端符号Y={y1, y2….yn},对于每一对(xi, yj)指定一个非负函数 d(xi, yj),称d(xi, yj)为单个符号的失真度或失真函数。对于连续信源连续信道的情况,常用d(x, y)表示。
-
常用失真函数:
-
平均失真度: