信息论与编码（姜丹版）第六章笔记

通信的根本任务——有效、可靠地传输信息

信源编码：用信道能传输的符号代表信源的消息，使信源的消息适于传输（变换）；在不失真或允许一定失真下，用尽可能少的符号来传递信息（通信的有效性，数据压缩）

信道编码：增加信号抗干扰能力，同时保持尽可能大的信息传输率（通信的可靠性，纠错编码）

二元码：码符号集X={0,1}，如果要将信源通过二元信道传输，必须将信源编成二元码，这也是最常用的一种码。

等长码：若一组码中所有码字的长度都相同，称为等长码。

变长码：若一组码中所有码字的长度各不相同，称为变长码。

非奇异码：若一组码中所有码字都不相同，称为非奇异码。

奇异码： 若一组码中有相同的码字，称为奇异码。

单义可译码：若码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列，则称此码为单义可译码。

非即时码：译码时，要等下一个码子出现时才能做判断。

即时码：每个码以1为终结，只要收到1,则码字结束。1起逗点作用——逗点码；时间上，无需后续符号就能立即译码即时码

构成即时码的充要条件：任何一个码字都不是其它码字的前缀

信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。

无失真信源编码定理：是离散信源/数字信号编码的基础；

限失真信源编码定理：是连续信源/模拟信号编码的基础。

信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。

离散信源编码：独立信源编码，可做到无失真编码；

连续信源编码：独立信源编码，只能做到限失真信源编码；

相关信源编码：非独立信源编码。