无失真信源编码2

最新推荐文章于 2023-02-27 09:44:08 发布

遨游的laugh哥

最新推荐文章于 2023-02-27 09:44:08 发布

阅读量3k

点赞数 2

分类专栏：信息论文章标签：信息熵

本文链接：https://blog.csdn.net/weixin_47173597/article/details/118640314

版权

信息论专栏收录该内容

10 篇文章 8 订阅

订阅专栏

信源无失真编码实质：熵总量是不变的，一个信源的分布也是不能改变的，我们能做的只是通过分组的手段，定义信道能传输的符号并且它和信源原始进行一一映射，使得编码后每一个符号尽可能携带更多的信息量，把平均码长缩短，达到压缩信源的目的。
渐进等同分割性质：：一个随机过程是非等概分布的，对它进行定长分割，把随机过程符号切割成段，每段的长度逐渐越来越大，结果发现：当长度足够大是，那么每一段的出现可能组合是等概分布的（段长足够大时，每一段出现的可能的组合几乎呈相同概率发生）.
典型序列：假设一个信源的符号有x个，段长为n,那个所有可能的字母符号组合为： $x^{n}$ ,但是里面的典型序列（经常出现）却大约有： $2^{nH(X)}$ 个，是很小的一个子集，但是：在段长足够长，典型序列几乎一定会出现，也就是非典型序列几乎不会出现，而且：每一个典型序列（典型集的元素）几乎成等概分布，也就有了无失真定长编码的基础。

一：信源编码基本概念

信源编码：将信源符号序列按一定数学规律映射成码符号序列的过程
具体来说：将信源符号集中的符号 $s_{i}$ （或长为N的信源符号序列）映射成码符号序列 $w_{i}$ ,每个 $w_{i}$ 是由长度为 $l_{i}$ 的码符号 $x_{i}$ 组成。

信源编码的作用和目的

作用：1：使得信源符号适合信道的传输2：用尽可能少的符号来传递信源信息，提高有效性。
目的：通过压缩信源的冗余度来提高通信有效性
冗余度取决于符号间记忆的相关性以及符号概率分布的非均匀性。

二：定长无失真信源编码定理

1：典型序列性质的数学表达。

l:是信源符号的平均码长
2：定长码（所有码字的码长相同）

3:定长信源编码定理（考虑N次扩展信源）

注意：H(S)和logr的底数必须相同。且：无失真编码是使得误码率足够小而不是必须为0；想实现无失真编码，扩展次数要足够大。

三：变长无失真信源编码

又叫：香农第一定理，它给出了平均码长的压缩下限，与信源的熵有关。

$H_{r}(S)$ :是编码信源符号所需的平均码长的下界。

四：几种码

1：非奇异码

2：唯一可译码（不存在译码的二义性）

3：即时码

习题：会识别变长码，定长码，奇异码和扩展信源

定长码：码一变长码：码二码三奇异码：码三（11可以表示两个符号）
所谓2次扩展就是：N*N.自己和自己，自己和别人的连接

几种码的关系

非奇异码是保证无失真的前提，唯一可译码是保证译码唯一的前提，即时码是性质很好的一类码，读到便可直接译出。

五：前缀码约束条件

前缀码：可以用码树去表示，而且选用的符号（又叫：码本）没有字树，只能作为叶子。

kraft不等式

设符号表中的原始符号为： $S={s_{1},s_{2},..,s_{n}}$ ,在大小为D进制的字符集上编码为前缀码的码字长度为： $l_{1},l_{2},...,l_{n}$ ,则满足：反之, 若码长约束满足上述不等式 , 则必存在一组前缀码符合相应的码字长度。
给出了：前缀码（即时码）的充要条件。