[信息论与编码]离散信道及信道容量(二）

2021/11/28 from Xwhite

信道疑义度

定义：表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。

信道疑义度的定义为H(X|Y)=∑p(y_j)H(X|y_j)

• 理想传输时，输出与输入一一对应，因此已知输出对于输入就没有不确定度了，有H(X|Y)=0。
• 一般情况下，有H(X|Y)<H(X),即收到输出后对于输入的不确定度一般总会减少。
• 当H(X|Y)=H(X)时，则表示收到输出变量后对输入变量的不确定性一点也没有减少。

互信息量

互信息量定义

定义：互信息表示事件y_i所给出的关于x_i的信息量，其定义式为

I(x_i)表示先验不确定度：收到y_i之前x_i存在的不确定度

I(x_i|y_i)表示后验不确定度：收到y_i之后关于输入x_i仍然存在的不确定度

互信息量的含义

表示事件y_i出现前后关于输入x_i存在的不确定度的减少量

表示事件y_i出现以后信宿获得的关于输入的x_i的信息量

互信息量的计算

互信息量的性质

• 互信息具有互易性

I(x_i;y_i)=I(y_i;x_i) 观察角度不同，但是互信息量具有对称性

• 互信息可正可负可为0

正相关就是y的出现会使x的不确定度减少。

• 互信息不可能大于其中任意一个事件的自信息

也就是说，某事件的自信息量是发生其它事件能提供的关于该事件的最大信息量

例题1

e上面加—代表对立事件概率。

例题2

平均互信息

平均互信息定义

随机变量X和Y的平均互信息定义为事件的互信息在联合概率空间P(XY)中的统计平均，是两个概率空间之间的平均互信息，其定义式为

倒数第三步——>倒数第二步 利用的是 强可加性 H(X|Y) = H(XY) - H(Y)

倒数第一步——>倒数第二步 利用的依旧是强可加性 H(XY)-H(X) = H(Y|X)

平均互信息的物理意义[从输出端来看]

I(X;Y) = H(X)-H(X|Y)

H(X|Y) 信道疑义度/损失熵/后验熵 : 表示收到输出Y之后，对随机变量X仍然存在的不确定度，代表了信道中损失的信息。

H(X) X的先验不确定度|先验熵|无条件熵;

I(X;Y) 收到Y前后对X的平均不确定度的减少量 即从Y获得的关于X的平均信息量

平均互信息的物理意义[从输入端来看]

H(Y|X) 噪声熵：表示发出X之后，对随机变量Y存在的平均不确定度

可以理解为噪声引入的信息量（Y=N+X)，若信道中不存在噪声那么输入输出存在确定的对应关系，发出X后必然能确定对应的Y，如果不能确定，那么这个不确定性就是由噪声引起的。

I(Y;X) 收到Y获得的信息量减去由噪声引起的额外的信息量

平均互信息的物理意义[从整个通信系统来看]

I(X;Y)=H(X)+H(Y)-H(XY)

H(X)+H(Y) 假设把X和Y视为通信之前两个独立的随机变量，则此时系统的先验不确定度则为二者平均不确定度之和H(X)+H(Y)

H(XY) 通信之后，信道的传递统计特性将X与Y联系起来，具有统计关联性，此时的后验不确定度则由联合熵H(XY)表示。

I(X;Y) 通信前、后整个系统的不确定度的减少量

利用韦拉图表示平均互信息

H(XY)是两个椭圆的并集 画成方框，是为了简化

这个图只是为了方便理解。

红色是H(X),白色是H(Y)

平均互信息的性质

• 非负性 I(X;Y)≥0

互信息可负，平均互信息非负，因为是从统计平均的角度研究的;

一般输出Y多少都会得到一些关于X的信息，当X与Y独立时，等号才成立

• 对称性 I(X;Y)=I(Y:X)

从X中得到的Y的信息和从Y中得到的X的信息对等。

• 极值性 I(X;Y)≤H(X) I(X;Y)≤H(Y) I(X;Y)≤min{H(X),H(Y)}

从一个事件中提取另一个事件的信息量，最多可以提取该事件的自信息量。

凸性定理

平均互信息是输入信源概率分布和信道传递概率分布的凸函数。

对于固定信道，即P(y_i|x_i)固定，平均互信息是输入信源概率的上凸函数。

​ 因此，存在一个最佳输入分布，使平均互信息最大，最大值由信道特性决定

对于固定信源，即P(x_i)固定，平均互信息是信道传递概率的下凸函数。

​ 存在一个最差信道，此信道的干扰最大，导致输出端获得信息量最小。

例题3