读书笔记 --《数学之美》_信息的度量和作用

《数学之美$\cdot$第二版》第六章

1、信息熵：信息的度量
对于任一个随机变量$X$，它的信息熵定义如下：

$$H(X)=-∑_{x\in X}P(x)\log{P(x)}\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式1.1)$$
变量的不确定性越大，信息熵越大，所需要的信息量越大。

2、信息的作用：消除不确定性

$$U'=U-I\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式2.1)$$ 其中 $U$是不确定性，$I$是信息熵， $U'$是新的不确定性。公式说明，没有信息，任何公式或者数字游戏都无法排除不确定性。

3、条件熵
条件熵公式：

$$H(X|Y)=-∑_{x\in X，y\in Y}P(x,y)\log{P(x|y)}\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式3.1)$$
公式说明，在了解Y的情况下，关于X的不确定性下降了。

4、互信息：相关性度量
互信息公式：

$$I(X;Y)=∑_{x\in X，y\in Y}\log{\frac{P(x， y)}{P(x)P(y)}}\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式4.1)$$
$$I(X;Y)=H(X)-H(X|Y)\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式4.2)$$
公式4.2表明，互信息的意义表示：X的不确定性在了解了Y之后的下降值。 $H(X)$表示X的不确定性， $H(X|Y)$表示X在了解了Y之后的不确定值。互信息是一个取值在0到 $min(H(X)，H(Y))$之间的函数，当X和Y完全相关时，它的取值是1；当二者完全无关时，它的取值是0。

互信息被广泛用于度量一些语言现象的相关性。例如词语的二义性（或称歧义性）。

5、相对熵
相对熵也用来衡量相关性，但和变量的互信息不同，它用来衡量两个取值为正数的函数的相关性，其定义如下：

$$KL(f(x)||g(x))=∑_{x\in X}f(x)\cdot \log{\frac{f(x)}{g(x)}}\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式5.1)$$
从公式中得出结论：
(a.)对于两个完全相同的函数，它们的相对熵为零；
(b.)相对熵越大，两个函数的差异性越大；反之，相对熵越小，两个函数的差异性越小；
(c.)对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。

需要指出的是，相对熵不是对称的，即：

$$KL(f(x)||g(x))\neq KL(g(x)||f(x))\cdot\cdot\cdot\cdot\cdot\cdot\cdot(公式5.2)$$
这样使用起来很不方便，为了让其对称，詹森和香农提出一种新的相对熵的计算方法，将公式5.1两边去平均，即：
$$JS(f(x)||g(x))=\frac{1}{2}[KL(f(x)||g(x)) + KL(g(x)||f(x))]\cdot\cdot\cdot\cdot(公式5.3)$$

附件：汉语信息熵和语言模型的复杂度 吴军&&王作英