[信息论与编码]无失真信源编码(一)

2021/11/30 from Xwhite

信源编码器与基本术语

信源编码的作用与目的

作用：

• 使信源适合于信道的传输，用信道能传输的符号代表信源发出的消息
• 在不失真或允许一定失真的条件下，用尽可能少的符号来传递信源消息

目的：提高通信的有效性，通常通过压缩信源的冗余度来实现

冗余度取决于符号间记忆的相关性与符号概率分布的均匀性

压缩方式：概率匹配–统计编码（Huffman编码，算术编码）

​ 去除码符号间的相关性，再对各独立分量（标量）进行编码（变换编码）

​ 利用条件概率进行编码（预测编码）

​ 利用联合概率进行编码（无记忆信源的扩展编码）

信源编码理论基础：
无失真信源编码定理---->统计匹配编码，根据信源概率分布选用与之匹配的编码
限失真信源编码定理

信源编码的基本术语

将信源符号序列按一定的数学规律映射成码符号序列的过程

信源编码的过程是将信源符号集中的消息（符号）s_i(或长为N的信源符号序列)映射成由码符号x_i组成的长度为l_i的一个对应的码符号序列W_i

几种常见的编码类型

码的种类

• 定长码：若一组码中所有码字的码长相同，则称为定长码
• 变长码：若一组码中所有码字的码长各不相同，则称为变长码
• 编译码：若一组码中存在相同的码字，则称为奇异码。
• 非奇异码：若一组码中所有码字都不相同，则称为非奇异码。
• N次扩展码：
  

例题

第一问

定长码：1 变长码：2、3 奇异码：3 非奇异码：1、2

第二问

分组码与唯一可译性

唯一可译性

分组码：将信源符号集中的每个信源符号s_i映射为一个固定的码字W_i

唯一可译码：任意一串有限长的码序列符号只能被唯一地译为对应的信源符号序列

唯一可译码充要条件：编码任意次扩展均为非奇异码：码字与信源符号一一对应 / 码字序列与信源符号序列一一对应

唯一可译码的判断

• 奇异码一定不是唯一可译码
  

• 非奇异码不一定是唯一可译码
  

• 等长非奇异码一定是唯一可译码

• 唯一可译码又可以分为即时码和非即时码

  即时码：某个唯一可译码在接收到一个完整的码字时，无需参考后续的码符号就能立即译码，则为即时码

例题

其实，即时码的充要条件时 码组中任一码字都不是其他码字的前缀

观察码1，发现s2的前缀1 是s1 s4的前缀是s3，而码2不是，所以码2是即时码

等长非奇异码一定是即时码

唯一可译码的判别准则

码符号序列译码二义性的存在条件：1.存在前缀码同时存在后缀码 2.码符号序列的尾部以不同码字结束

唯一可译码的判断方法：将码中所有可能的尾随后缀组成一个集合F，当且仅当F中没有包含任一码字时，该码字为唯一可译码。

判断步骤：

这里简单说一下，其实过程是先将给定 码组 列出来看看有没有 谁是谁的前缀 ;
比如码组有a abb bbcd 那么a是abb的前缀，就新建第二列，把bb放在第二列;
然后将第二列与第一列对比，发现bb 是 bbcd前缀，那新建第三列cd ;
然后第三列与第一列对比发现没有 那么第四列就是空集 就是唯一可译码。

例题

第一问

第二问

各类码之间的关系

定长码与定长编码定理

定长码

定长码是所有码字码长相同的码组

简单信源S进行定长编码时：

• 设信源符号集中共有q各符号（消息）S={s₁,s₂…s_q}

• 码符号集中共有r种码元X={x₁,x₂…x_r}

• 编码后定长码码长为l，则码字总数为r^l

若满足非奇异性，则需r^l≥q，即码字总数≥消息数

若对N次扩展信源进行定长编码，满足非奇异性，则需r^l≥q^N

例题

定长信源编码定理

编码信息率与编码效率

r是码符号数


说明：如果对信源的N次扩展进行编码，给定效率和错误概率时，容许错误概率越小编码效率越高，这要求N越长，要实现几乎无失真编码，必须以N大到难以实现为代价，所以后续引入变长码