信息论与编码

信息论研究信息的度量，内容主要围绕香农三大定理展开，研究在不许失真的情况下信息传输率的极限值，以及给定信源且允许一定失真的条件下信息速率极限值，并研究在误码率小于给定值的条件下如何最有效地利用信道的传输能力。
编码是后人沿着香农指明的可行方向，为寻求有效而可靠的编译方法而发展起来的一门学科，主要研究在有噪信道条件下各种可行的编码方案及实施技术。

信息论

• 信息是什么?
  信息是确定性的增加,信息的度量(熵)是信息不确定性的度量.
• 数字通信系统
  数字通信系统信源、信源及信道编码器、信道、信源及信道译码器、信宿五部分组成;
  信源编码器将信源符号转换成适合信道传输的符号,并压缩信源的冗余度以提高通信的有效性,也叫压缩编码;
  信道编码器通过增加冗余的纠错码元来提高通信的可靠性,配合译码将差错率降到允许范围内.

1. 信源

• 信源的数学模型为一个样本空间及概率测度.
• 信源分为离散的和连续的、无记忆的和有记忆的.离散无记忆单符号信源每次只输出一个离散的符号消息，不同时刻的符号之间彼此统计独立；离散无记忆扩展信源输出的消息是由许多不同时刻发出的符号所成的符号序列，先后发出的符号彼此间统计独立，符号序列的概率是序列中各个符号概率的乘积；有记忆信源时间上先后发出的消息间有依赖关系.

2. 信道

• 信道的数学模型用转移概率描述.
• 信道分为离散的和连续的、无记忆的和有记忆的.离散无记忆单符号信道(DMC)的输入和输出都是离散无记忆的单个符号,离散无记忆N维扩展信道的输入输出都是长为N的符号序列,序列的信道转移概率是对应N个符号信道转移概率的乘积.
• 四种常见DMC:二元对称信道,无干扰信道,二元删除信道,二元Z信道.

3. 信息的度量

自信息量

• 自信息量(信息量):​​​​​​
• 条件自信息量:接收到yj后对xi是否发生的不确定度:

q(xi)为先验概率,q(xi|yj)为后验概率.

互信息量

• 互信息量:事件x,y之间的互信息是y发生所得到的关于x的信息量,等于“x的自信息量”减去 “y条件下x的自信息量”:
  
• 互信息量的性质
  互易: I(x;y)=I(y;x);
  可负: yj的发生降低了xi发生的可能性;
  当xi,yj统计独立时,互信息量及条件互信息量为0;
  任何两个事件的互信息量不大于其中一个事件的自信息量.

信息熵

• 平均自信息量(熵,信源熵):

• 平均条件自信息量(条件熵):
  联合概率q(xiyj)=q(yj|xi)q(xi)=q(xi|yj)q(yj);当X和Y统计独立时,q(xiyj)=q(xi)q(yj).

• 联合熵:H(X)在二维空间XY上的推广
  

• 平均互信息量(交互熵):
  

• 熵,条件熵,联合熵的关系:
  
  当X,Y统计独立时:
  

• 交互熵与信源熵,条件熵的关系:
  

熵函数的性质

• 极值性(极大离散熵定理)：对于有限离散随机变量集合，当集合中的事件等概率发生时，熵最大.
• 条件熵小于等于无条件熵: H(Y|X) ≤ H(Y);
• 联合熵大于独立事件的熵,小于等于两独立事件熵之和:H(XY)>=H(X),H(XY)>=H(Y),H(XY)<=H(X)+H(Y).

平均互信息量性质

• 非负:I(X;Y)>=0;
• 互易:I(X;Y)=I(Y;X);
• 极值:I(X;Y)<=H(X),I(X;Y)<=H(Y);
• 凹凸性:平均互信息量I(X;Y)是信源的n凸函数,是信道的u型凸函数.

4.信源编码

无失真编码不改变信源的熵.
码的分类
信源编码可看作信源符号集(消息)到码符号集的一种映射,码字是码符号的组合;课程内只讨论唯一可译码(唯一可译码可保证无差错编码).

• 二元码:码符号集为0,1;

• 等长码/变长码:都是唯一可译码;

• 奇异码/非奇异码:非奇异码不同消息对应不同码字;

• 原码的N次拓展码:将信源N次拓展得到新的信源符号序列而由原码级联得到的新码;

• 唯一可译码:任意N次拓展码都是非奇异码的码;
  所有可译码中平均码长最短的称为最佳码,信源编码就是寻找最佳码.
  克拉夫特不等式:

• 即时码:任一码字都不是其他码字字头的码(也称无前缀码);
  即时码一定是唯一可译码;即时码可用树图法构造
  

信息传输速率

• 平均码长:
• 信息传输速率:
• 编码效率:

等长编码定理和变长编码定理

• 等长编码定理
  
• 变长编码定理(香农第一定理)

三种常用变长码编码方法

• 香农编码法,费诺编码法,霍夫曼编码法(编码效率最高)

5. 信道编码基础

信道编码是为了抵抗信道干扰提高可靠性而进行的处理和变换,如差错控制编码,最简单的如"重复编码,择多译码".
信道容量

I(X;Y)是平均每个码元的信息量,对于无扰信道有I(X;Y)=H(X);信道容量C是保证可靠通信下信道所能容纳的最大信息传输量,对于固定信道,信道容量是一个定值;若要达到信道容量,信源分布(信道输入概率)须满足一定条件.

• 一维信道和N维信道的关系:
  当信源和信道都离散无记忆时,等号成立,即N维序列传输问题可归结为单符号传输问题.
• 几种特殊信道的信道容量及达到信道容量的充要条件:
  
  对称信道/准对称信道/强对称信道:略.

信道编码定理(香农第二定理)

• 最大后验概率译码准则:错误概率最小等同于后验概率最大.
  即收到yi后在所有x中选择使后验概率q(x|y)(也称信道疑义度)最大的xi作为译码.
• 极大似然译码准则:收到yi后在所有x中选择使转移概率q(y|x)最大的xi作为译码.
• 信道编码定理:对任何离散无记忆信道DMC,当信道的信息传输率R<C，码长N足够长时,总可以找到译码规则使信道输出端的最小平均错误译码概率Pmin达到任意小(信道容量C是无差错传输时信息传输率R的极限值).
• 信道编码逆定理:当R>C时不可能存在任何方法使差错率任意小(或说趋于零).

率失真编码定理(香农第三定理)

• 失真测度d(x,y):量化失真.
• 平均失真:失真的数学期望.
• 率失真函数:
• 率失真函数的性质
  值域:
  定义域:
  R(D)是连续,单调,减函数.
• 率失真编码定理:给定允许失真D,当信息传输率R>R(D)时,只要信源序列足够长,总可以找到一种编码方法使平均失真趋近于D.