信息熵和互信息

信息熵

为什么会有信息熵这个概念？

因为当在一堆很有规律的数据中怎么预测未来可能出现的数据的信息呢？（注意是预测）
就出现信息熵了，用它来预测未来数据的确定性的大小（也可以说用它来测量一个随机变量包含的信息的多少）
比如下例：

但是，当数据越混乱，数据的信息熵就越大，也就是第九条数据能被确定的概率越小，就说明次数据的信息熵越大，反之亦然。
也就是数据的信息熵跟它的确定性成反比。

规律

计算方法

如下例：

互信息

互信息（mutual information，MI）度量了两个变量之间互相依赖的程度。通俗的说，就是在获得一份随机变量的信息之后，观察另一个随机变量所获得的“信息量”（通常单位是比特）。
计算方式：
还是以上述案例为例：