无失真信源编码1

最新推荐文章于 2024-08-10 23:51:13 发布

遨游的laugh哥

最新推荐文章于 2024-08-10 23:51:13 发布

阅读量6.7k

点赞数 27

分类专栏：信息论文章标签：信息熵

本文链接：https://blog.csdn.net/weixin_47173597/article/details/118489170

版权

信息论专栏收录该内容

10 篇文章 8 订阅

订阅专栏

本文详细介绍了信源编码的基本概念，包括信源编码的作用和任务，以及信源编码的分类。重点讨论了香农第一定理在数据压缩中的指导意义，强调了编码效率和平均码长的重要性。同时，阐述了无失真可变长信源编码定理，并以Huffman编码为例，展示了如何通过编码减少数据冗余，提高信息传输效率。

摘要由CSDN通过智能技术生成

信源编码基本概念：什么是信源编码，信源编码的类型
香农第一定理：无失真可变长信源编码定理
信源编码在数字通信系统所担当的角色，作用是什么？任务是什么？

一：信源编码器

信源编码定义
将信源输出的消息进行有效变换(指明处理对象),使其成为适合信道传输的符号序列，且使该序列组合的新信源的剩余度/剩余度尽可能减小。(指明两大任务）

S:编码器的输入的原始信源符号，{ ${s_{1},s_{2},....,s_{q}}$ }是单个信源符号 $a_{i}$ 的样本空间
X:是码元集合， $x_{i}$ 要求是适合信道传输的，信道认可的符号，称为“码元”
$W_{i}$ 是每个输入信源符号被编码器编成的由 $L_{i}$ 个码元组成的符号序列，称为：码字。
C:编码器输出的码字的集合，叫：码书。
编码器作用:将信源符号 $s_{i}$ 变换成码字 $W_{i}$ ，即： $s_{i}\rightarrow W_{i}$
说白了：编码就是从信源符号到码符号组成的码字之间的一种映射，想实现无失真编码，这种映射要求一一对应，码是唯一可译码

这里被编码的对象由输入信源的单个符号，变成了由几个单个符号组成的消息序列。就像是英文字母中，单个英文字母编码变成了对单词进行编码。加大信源的分组长度即编码复杂程度增加了，但却可以提高编码的有效性。

二：信源编码器分类

信源符号	符号概率	码一	码二	码三	码四	码五
$s_{1}$	1/2	0	0	1	1	00
$s_{2}$	1/4	11	10	10	01	01
$s_{3}$	1/8	00	00	100	001	10
$s_{4}$	1/8	11	01	1000	0001	11

码一：同一个码字对应了不同的消息符号，发送端就已经产生了失真，引起了信息的丢失，是奇异码。码二到码五都是非奇异码，即不同的消息符号对应着不同的码字。其中：非奇异码是正确译码的必要条件。码五是等长编码，对等长编码而言，只要是无失真编码就是唯一可译码。码二是非唯一可译码，比如：00可以译成1个s3或两个s1.(唯一可译码基本判断：把各种码字两两叠加，去扩展码空间，如果没有重复的就是唯一可译码)

三：香农第一定理

掌握定理内容以及该定理对压缩编码的指导意义。
香农第一定理又叫：无失真可变长信源编码定理
数据压缩的目的：减少数据的冗余。分为两种：客观冗余--表示方法不得当产生的冗余也就是啰嗦；主观冗余--接受不到或者无法接受的冗余。
香农理论对数据压缩的指导意义；
结论一：有记忆信源的冗余度蕴含信源符号间的相关性中。去除他们的相关性，使之成为不相关的信源，其熵将增大。
结论二：离散无记忆信源的冗余度蕴含符号概率的非均匀分布中，改变原来信源的概率分布，使之成为或接近等概分布的信源，其熵将增大。
减小信源冗余度：去相关；改变符号的概率分布的不均匀性。

评价信源编码的指标
1：平均码长
1）对单个信源符号进行编码：

物理意义：平均每个符号分配的码元个数。（概率乘以码字长度）
2）对N此扩展信源进行编码

由于第一个公式是计算的平均每个消息序列的码元个数，具体到每个符号还要除以N长
2：编码后信道的信息传输率R
物理意义：编码后信道传送的平均每个码元携带的信息量。

3：编码效率 $\eta$
物理意义：衡量编码效果，采用实际信息量（编码后的信息量）与编码最大信息量的比值

其中：logr是平均每个码元所携带的最大信息阿量
结论：采用变长编码，可以在扩展信源编码不算很长时就达到比较理想的编码效率。
扩展的意思是选用几位作为整体，比如二次扩展，信源有四个符号，则可以编成：16个。
！！：实际中，随着扩展次数的增加，信源输出的序列朝两级分化，有些经常被使用，有的甚至不会再出现，因此这类的输出序列没必要编码。

香农第一定理：（存在性定理）

香农第一定理给出了做无失真编码的编码的下限，这个下限值就是想给信源熵做编码至少要分配的的码元数，即： $H_{r}(S)$ =H(S)/logr.也就是说每个信源符号的最小平均码长就是信源熵除以logr的值，当编码的平均码长小于 $H_{r}(S)$ 时候，不会存在唯一可译码。暗含了：码字数必须大于等于消息数。

$R^{,}$ :表示平均每个码字携带的最大信息量，也就是说：编码后码字载荷的信息量必须大于送进编码器之前的信源的信息量，只有这样才能保证没有信息量的丢失。
变形： $logr\geqslant \frac{H(S)}{L^{-}}$ （编码前的平均信息量÷编码后的平均码长=编码后的信息传输率，也就是送上信道的信息传输率)；无损信道的输入为r个符号，其最大的信息传输能力：logr=信道容量。
C $\geq$ R,也就是说信道容量必须大于信息传输率。