互信息

互信息

 

0 前言

为了介绍互信息（mutual information），先给出熵和条件熵的定义。在信息论与概率统计中，熵（entropy）是表示随机变量的不确定性的度量，也就是说熵的值越大，不确定性越高。

1 熵与条件熵

（1）第一类互信息的定义（研究同一系统的不同状态，比如决策树中的分支选择）

随机变量X的熵定义为：

                                                                     

从公式中我们能看出，熵只依赖于X的分布，它与X的取值无关。熵越大，随机变量的不确定性越大(这里x是分布，p是x对应的概率）：

                                                                             0<=H(p)<=log（n)

 

条件熵：

条件熵H(Y|X),表示在已知的随机变量X的条件下随机变量Y的不确定性