互信息

1. 相关性的描述问题

独立性说明两者之间无关系，相关性可以说明两者之间有关系，但这两者之间关系强弱如何度量？我们可以有线性相关系数（皮尔逊积矩相关系数)、卡方检验（此处不谈）和互信息这几个指标来进行量化。

使用线性相关系数的前提自变量与因变量是线性关系，取值范围为[-1,1]，负数表示负相关:

$$\rho_{x,y} = \frac{cov(X,Y)}{\sigma_X,\sigma_Y} = \frac {E[(X-u_X)(Y-u_Y)]}{\sigma_X,\sigma_Y}$$
即协方差除以标准差的积。

而互信息是基于信息熵，适用面更广。

2. 信息熵与互信息

2.1 信息熵

信息熵表示要把一个事物弄清楚所需要的信息量的多少。所以，严格意义上来说，熵是表示不确定程度的度量，而非信息量的度量。意思是，熵小的，预测起来更容易。举个例子：一个汉字信息熵大约为8比特，英文的信息熵为4比特，意思是一个汉字所要表达意思的不确定度要大于英文，这说明了英文确实在很多方面表达精确度胜于汉字，因为更容易理解、预测它的意思。相应的，汉字存储压缩度更高，对应的英文原著翻译为中文版往往变薄了许多。

香农指出了信息熵必须满足费复兴，单调性，可加性这三种性质，并给出满足这三条性质的一种定义（当然也是目前唯一大家都用的定义）：

$$H(X) = -\int_X P(X)log(P(X))$$
P(X)是X的出现概率，即X分布越离散，X的状态数越多，信息熵越大。

#### 2.2 互信息：
互信息度量知道X,Y这两个变量其中一个，对另一个不确定度减少的程度，其定义为

I(X,Y)=∫x∫yP(X,Y)logP(X,Y)