第三章 无失真信源 笔记

3.1信源分类及其数学模型

数学上，信源是产生随机变量$X$，随机矢量X和随机过程X(t)的源。
信源是发出消息（序列）的设备

离散单符号信源

离散多符号信源

当离散多符号信源为无记忆信源时：

离散无记忆信源的N次扩展信源

离散平稳信源

离散平稳有记忆信源

马尔科夫信源——不是离散平稳信源

当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关

模拟信源

由于模拟信源的情况比较复杂，限于学时，我们重点只对单变量连续信源进行讨论
在数字通信系统工程实践中，波形信源常常被转化成连续信源或离散信源——这个转化过程本质上就是一个限失真的过程，但在本章，我们将离散化后的信源看成一个新的无失真信源讨论。

单变量（符号）连续信源

信源虽输出是单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-∞，∞)。这种信源称为连续心愿，其数学模型是连续型的概率空间，可用一维的连续型随机变量X来表示这类消息

矢量（多符号）连续心愿

波形信源

信源输出的消息时间和取值都是连续的，这种信源输出的消息可用随机过程来描述，称这类信源为随机波形信源

如果随机过程是平稳的随机过程，时间离散化后可转换成平稳的随机序列。若再对每个取样值(连续型的)经过分层(量化)，就可将连续的取值转换成有限的或可数的离散值。

3.2信源输出信息量的测度

离散信源输出的信息量的度量:数值上:等于信源的熵
各类离散信源的熵的度量:单符号信源:H(x)
离散无记忆信源X的N次扩展信源的熵=离散信源X的熵的N倍

离散平稳有记忆信源的熵

多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量$X_1$的熵与各阶条件熵之和.由于信源是平稳的,这个和值与起始时刻无关

离散平稳有记忆信源的条件熵,平均符号熵,熵率(极限熵)

符号间的相关性使得有记忆信源的每个符号平均携带的信息量减少

3.3信源输出信号携带信息的效率

有效程度的度量

• 冗余度(二者之差)
• 相对冗余度(二者的相对差)
• 信源效率(二者之比)

从提高信息传输及存储效率的角度：希望冗余度越小越好> 信源编码通过减少冗余度提高传输与存储效率
从提高抗干扰能力的角度：希望增加或保留部分冗余度>信道编码通过增加冗余度提高抗干扰能力

3.4信源编码概述

编码目的

• 实现系统优化:有效性,可靠性,安全性
• 实现信源特性(信源表达的有效性和可靠性),信道特性(传输的有效性和可靠性)与整个系统的最佳匹配

信源编码：解决信源特性匹配（最佳表达）问题。前提：信道特性匹配的问题已解决
信道编码：解决信道特性匹配。前提：信源匹配问题已解决

信源编码
含义:实现信源特性与通信系统间的统计匹配的编码
对象:实际信源输出
目的:在无失真与限失真前提下更加有效的传输,存储信息,提高通信系统有效性
分类:无失真信源编码(冗余度压缩),限失真信源编码(熵压缩)

冗余度压缩编码,是可逆压缩,经编译码后可以无失真恢复
熵压缩编码,是不可逆压缩.译码时能按一定的失真容许度恢复,保留尽可能多的信息技术

3.5无失真信源编码定理

log n:等概率条件下的信息符号熵
log m:等概率条件下的码字符号熵

定长(等长)码信源编码定理

AEP定理

变长编码

前缀码

任何唯一可译码均满足Kraft不等式
唯一可译码一定满足Kraft不等式
满足Kraft不等式的码不一定是唯一可译码，但一定存在至少一种唯一可译码
对任何唯一可译码均可在不改变码字长度的条件下得到相应的前缀码

码的平均长度

3.6无失真信源编码实例

霍夫曼编码——针对无记忆信源

一种基于统计模型的压缩技术的代表

游程编码

游程：数字序列中连续出现相同符号的一段

游程变换减弱了原序列符号间的相关性
游程编码将二元序列变幻成了多元序列，这样就适用于其他方法，如霍夫曼编码，进一步压缩信源，提高通信效率
游程编码对多元序列意义不大