互信息在深度学习中的应用

互信息的概念

我们介绍一下与互信息相关的基本概念：

1.信息熵的概念

如果一个事件发生的概率为：$p(x)$,则该事件的信息量为$-logp(x)$，接下来我们提出该信息量的期望（熵）：
$$H(x)=-\sum _{x}p(x_i)log(p(x_i))$$