备考通信复试过程中的一些知识点总结梳理——信源编码

信息编码可以简要分为信源编码和信道编码，我们先来介绍信源编码。信源编码的作用就是将输出信号转变为适合于数字通信系统处理和传输的数字信号，主要目的是提高传输的有效性，降低原始信号的冗余度，通常对数据压缩编码。

对于不同的信源，常有不同的压缩准则。

对于离散无记忆信源（DMS）而言，H(X)就是它的压缩极限，只要信源不是等概分布，就有数据压缩的可能（最大熵定理）。

而对于离散有记忆信源而言，其联合熵H(x,y)与其上界H(X)+H(Y)之间的差值反映了该有记忆信源所包含的冗余度。对于离散有记忆信源而言，其压缩的基本途径有四种，一是令各字符的编码长度尽量等于字符的信息量，大概率对应短码，小概率对应长码，也就是信息量越大，字符越长，失真度越小，传输有效性越好；二是去除各分量之间的相关性，再独立编码；三是利用高阶的条件编码；四是联合尽可能多的分量利用联合概率进行编码。就如研究通信调制方式一样，编码之前我们要先明确什么是好的编码。

这里我们提出平均码长和码率概念。平均码长L表示一组消息的编码平均长度，公式为

码率：R=L/n（n为信源扩展次数）

反应数据压缩性能的指标有两个，压缩比和编码效率。压缩比是压缩前每个字符的平均码长与压缩后的比例，编码效率等于编码后的字符平均信息量与编码平均码长的比值。

编码效率为：

 η越趋近于1编码越好，也就是平均码长越趋近信源熵越好。

信源编码根据其译码的性质有非奇异码和唯一可译码。非奇异码就是译码和码字一一对应；唯一可译码就是译码不存在歧义，如0译为0，1译为1，2译为10，如果出现10码字，则可以译为2也可以译为0和1，这就是非唯一可译码。

唯一可译码又按照是否需要参考后续的码元译码二分为即时码和非即时码。即时码就是任何码字都不是其他码字的前缀，不需要参考后续即可译码。而最优码就是平均码长最短的即时码。

已经知道了什么是好的编码，那接下来我们就来认识一下具体的编码方法。根据香农第一定理和第三定理可知，信源编码可以分为无失真的信源编码和有损信源编码。

首先是无损压缩编码。无损压缩编码中有哈夫曼编码，算数编码RLC游程长度编码以及LZ编码。其中最常考察的是哈夫曼编码，这里我们也只着重介绍哈夫曼编码。

有限的离散信源中各字符的信息含量不同，为了更好的压缩效果，通常采用变长码。而哈夫曼编码是一种常见的无前缀变长码，它在最小码长的意义上是最佳码。哈夫曼编码的步骤粗略来说就是1、将所有消息概率按顺序排列；

2、概率最小的合成一个码元，分别分配0 1，并将两个码元的概率加和作为新的码元概率；

3、重复第二步，直到所有消息的概率全部加和。最后从后至前回溯路径上的0，1完成对信息的编码。

哈夫曼编码虽然便于操作，计算简单，但也有很多缺点。首先要预先知道符号的概率分布；其次对每个符号都要分配整数长的码字，比特率不能小于1比特/符号，除非符号是联合编码的情况；并且如果要对二元序列编码，哈夫曼编码无法考虑信源符号的相关性，编码效率不高；最后只有在各输入符号的信息量为整数时，哈夫曼编码才能达到最优。

其余的编码方式，如算数编码LZ编码也各有优缺点，但在这里不予展开论述。之后如果有时间我会另外单独为大家讲解。

接下来就是有损压缩的信源编码。有损压缩的信源编码多用于对模拟信号的数字编码。这里回顾一下，模拟信号数字化有那些步骤？没错，抽样，量化，编码。

抽样相关理念在前几次已经有所说明，这次我们从量化开始。量化可分为标量量化和矢量量化。标量量化有均匀量化和非均匀量化，均匀量化包括中平量化，中升量化，非均匀量化主要有A律和μ律（标量量化的其他相关概念如量化噪声等详见：备考通信复试过程中的一些知识点总结梳理——模拟通信数字化）矢量量化粗略的来说就是发端先在码书中搜寻一个与输出信号矢量组接近的码字发出，接收端再用同样的码书和算法，找到发出的原始码字。

有损编码多用于对模拟信号编码，常用的编码方式有DPCM（差值脉冲编码调制）DTC（（二维离散余弦变换）小波编码等，这些编码方式常常应用于图像和音频的压缩处理上。

音频以MP3为例，它利用人类听觉的弱点，如在时域频域某点出现较强能量时，该点附近的声音会被掩盖，来进行对音频的压缩。一般的压缩流程是先对音频进行采样，采样率一般为44.1KHZ，之后使用FFT计算频带，再进行编码。

图像有静态图像压缩和动态图像压缩。

静态图像信号由二维的许多像素组成，在各邻近像素之间都有相关性，可以使用差分编码或者其他预测方式，仅传输预测误差从而压缩数据率。并且常常在变换域进行有损压缩。最广泛应用的静止图像压缩国际标准是JPEG。JPEG无损编码主要有哈夫曼编码和算数编码，有损编码主要是预测编码，K-L变换等。

动态图像压缩利用了邻近帧的像素之间的相关性，在静止图像压缩的基础上再设法减小邻近帧像素之间的相关性。最广泛应用的动态图像压缩国际标准是MPEG，其主要有帧内编码和帧间编码。帧内编码主要有变换编码和预测编码两种，帧间编码主要有帧间预测编码、运动估计和补偿预测。