02 交互信息量

交互信息量

信源的信息熵解决了定量估算信源每发出一个符号提供的平均信息量这个信源的核心问题，对于由信源、信道和信宿组成的通信系统来说，最根本的问题，还在于如何定量估算信宿收到消息后，从消息中获取多少信息的问题，也就是信息传输问题。

信道的数学模型

考虑最简单的信道，单符号离散信道，输入端允许输出$r$中不同的符号，输出端相应输出$s$中不同的符号，如下图所示

$p(b_j/a_i)$这个条件概率体现了信道对输入符号$a_i$的传递作用。不同的信道有不同的条件概率，因此条件概率$p(b_j/a_i)$可以称为信道的传递概率。

我们可以使用传递概率矩阵来表示信道的传递特性

交互信息量

怎么计算两个事件之间传递的信息量，或者说怎么计算信宿接收到的信息量，我们可以这么理解，我们把对不确定性大小的消除，消除了多少不确定性就代表接收到了多少的信息。那么消除的不确定的表达式是什么呢?应该是信宿在接收前对信源发出符号的不确定性减去在接收到符号后对信源还保留的不确定性的大小。那么我们就可以定义交互信息量了，简称互信息。

互信息表示的两个事件之间传递的信息量，我们定义为
$$I(x;y)=I(x)-I(x|y)$$
上面的定义可以这么理解：对于一个通信系统，$I(x)$表示接收到$x$前，信宿对信源发送$x$的不确定性，$I(x|y)$表示接收到符号后，推测发送的是$x$的还保留的不确定性，二者之差就表示信宿消除的不确定性，也就表示信宿所获得的信息量。

根据上面的表达式，我们可以推出$I(x;y)$的表达式为
$$I(x;y)=I(x)-I(x|y)=-logP(x)+logP(x|y)=log\frac{P(x|y)}{p(x)}=log\frac{p(x,y)}{p(x)p(y)}=I(x)+I(y)-I(xy)$$

从另一个角度理解$I(x|y)$
$$I(x;y)=I(x)-I(x|y)$$
$I(x;y)$表示信宿获得的信息量，$I(x)$表示发送方发送的信息量，那么$I(x|y)= I(x) - I(x;y) $就可以看做是在符号传输过程中损失的信息量。

反向信道

在已知先验概率$p(a_i)$以及信道传递概率$p(b_j/a_i)$的情况下，我们可以很简单的计算出后验概率$p(a_i/b_j)$
$$p(a_i/b_j)=\frac{p(a_i{b}_j)}{\sum _{i=1}^{r}p(a_i)p(b_j/a_i)}=\frac{p(a_{}}{\sum _{i=1}^{r}p(a_i)p(b_j/a_i)}$$