信息论与编码（姜丹版）第二张简答题笔记

笔记是根据自身情况整理的，只是为了留下足迹，以防忘记，并不是很全，望海涵！

信道的分类

以输入输出空间分：离散信道、连续信道、半离散半连续信道、时间离散的连续信道、波形信道（时间和幅度连续）

以输入输出随机变量的pdf分：恒参信道、随参信道

以输入输出端的个数分：两端信道、多端信道（多用户）

按符号的个数分：单符号信道、多符号信道

按随机变量是否与时间起点有关：无记忆信道、有记忆信道

 

相关含义：

H(X)       信源X的不确定度；

H(X|Y)   当Y已知时，信源X的不确定度；

Y关于X的互信息I(X:Y)的含义——Y已知后，获得关于X的信息量。

 

互信息的特例

X,Y相互独立：H(X|Y)=H(X)、I(X;Y)=0

含义：无法从一个变量中提取另一个变量的信息。

不确定性没有任何消除

X,Y一一对应：H(X|Y)=0;I(X;Y)=H(X)

 

I(X;Y)——接收端所能获得关于X的信息

当干扰大，X与Y无关，I(X;Y)=0,则收不到关于X的信息；

若无干扰，Y与X一一对应，I(X;Y)=H(X),则能充分收到X的信息。

I(X;Y)——每传一个符号流经信道的平均信息量

互信息用于表征信道特征。

 

信息传输率： R= I(X;Y)  bit/信道符号(每传一个符号携带的信息量。)

信息传输速率：Rt= I(X;Y) /t   bit/s（单位时间传输的信息量，相当于水管内水流速）

信道容量——最大的信息传输率

信道最大信息传输速率：

I(X,Y)达到极大值的充要条件是输入

分布                 满足：

能获得信道容量的信源称为匹配信源

 

无噪离散信道特点：

具有一一对应关系：H(Y|X)=0 ；H(X|Y)=0  (每列仅一个非零元）I(X,Y)=H(X)=H(Y)；对应的输入分布是均匀分布

具有扩展性：每列只有一个非零元素，其后验概率为1 H(X|Y)=0；I(X,Y)=H(X)

具有归并性：

 

无噪信道的信道容量，只决定于信道的输入或输出的符号数。

强对称信道的特点：

对称离散信道：

[P]中的每一行、列，都是由同一符号集各元素的不同排列组成,当输入等概时，达到信道容量 C = log(s)– H(P)。H(P)为一行元素概率空间的熵。

二元删除信道：