信息的度量-熵（entropy）

信息是个抽象的概念，我们知道一个句子里的信息多或者少，但不知道具体是多少，如何使用数据去衡量一条信息的信息量是多少？熵刚好可以衡量信息的多少。

信息量等于不确定性的多少，例如(如无特殊说明骰子都是指正六面骰子)：
A: “丢一次骰子，数字小于等于6的概率是多少？”：骰子上的数字是1、2、3、4、5、6，丢一次骰子，它的数字肯定是小于等于6的，它的不确定性是0，所以它的信息量也是0；
B: “丢一次骰子，数字小于等于3的概率是多少？”：丢一次骰子，它的数字小于等于3的概率是$\frac{1}{2}$，这信息是有不确定性的，所以它的信息量不等于0 。

一、信息熵

信息熵：用于信息$X$的信息量；
$$H(X)=-\sum p(x){\log }_{2}p(x)$$
$X$：变量空间；
$H(X)$：$X$的信息熵；
$p(x)$：$X=x$时的概率；

例如：“丢一次骰子得到的数字是多少？”

丢一次骰子，可能得到的数字有1、2、3、4、5、6，得到每个数字的概率都相等，因此 X = { 1 , 2 , 3 , 4 , 5 , 6 } X = \{1, 2, 3, 4, 5, 6\} X={1,2,3,4,5,6}，$p(1)=p(2)=p(3)=p(4)=p(5)=p(6)=\frac{1}{6}$;
那这条信息的信息熵为：
$H(X)$
$=-[p(1)\ast lo{g}_{2}p(1)+p(2)\ast lo{g}_{2}p(2)+p(3)\ast lo{g}_{2}p(3)+p(4)\ast lo{g}_{2}p(4)+p(5)\ast lo{g}_{2}p(5)+p(6)\ast lo{g}_{2}p(6)]$
$=-\frac{1}{6}\ast lo{g}_2\frac{1}{6}\ast 6$
$=-lo{g}_2\frac{1}{6}$
$=lo{g}_{2}6$

特别地，在算法中，计算熵的时候都是使用底数为 $e$ 的对数，因此
$$H(X)=-\sum p(x)\ln p(x)$$

二、条件熵

条件熵：在给定一个信息$Y$的前提下$X$的信息熵；
$$H(X|Y)=-\sum p(x,y)lnp(x|y)$$
$$H(X|Y)=H(X,Y)-H(Y)$$
$H(X|Y)$：在$Y$取不同值的前提下$X$的条件熵；
$H(X,Y)$：$X$和$Y$同时出现时的信息熵；
$H(Y)$：$Y$的信息熵；
$p(x,y)$：$x$和$y$同时出现的概率（联合概率分布）；
$p(x|y)$: $y$条件下，$x$出现的概率；

例如：“丢骰子，已知丢出的是偶数，那丢出的数字是多少？”
设偶数是$y$，数字是$x$;
解法1：
则 Y = { 奇 数 ， 偶 数 } Y = \{奇数， 偶数\} Y={奇数，偶数}, $p(奇数)=p(偶数)=\frac{1}{2}$，
$p(1|奇数)=p(3|奇数)=p(5|奇数)=\frac{1}{3}$,
$p(2|奇数)=p(4|奇数)=p(6|奇数)=0$,
$p(1|偶数)=p(3|偶数)=p(5|偶数)=0$,
$p(2|偶数)=p(4|偶数)=p(6|偶数)=\frac{1}{3}$,
所以
$H(Y)=-[p(奇数)lnp(奇数)+p(偶数)lnp(偶数)]$
$=-(\frac{1}{2}ln(\frac{1}{2})+\frac{1}{2}ln(\frac{1}{2}))$
$=ln2$
X = { 1 , 2 , 3 , 4 , 5 , 6 } X = \{1, 2, 3, 4, 5, 6\} X={1,2,3,4,5,6}, 由$p(x,y)=p(x|y)\ast p(y)$，所以：
$p(X=1，Y=奇数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$
$p(X=2，Y=奇数)=0\ast \frac{1}{2}=0$
$p(X=3，Y=奇数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$
$p(X=4，Y=奇数)=0\ast \frac{1}{2}=0$
$p(X=5，Y=奇数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$
$p(X=6，Y=奇数)=0\ast \frac{1}{2}=0$
$p(X=1，Y=偶数)=0\ast \frac{1}{2}=0$
$p(X=2，Y=偶数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$
$p(X=3，Y=偶数)=0\ast \frac{1}{2}=0$
$p(X=4，Y=偶数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$
$p(X=5，Y=偶数)=0\ast \frac{1}{2}=0$
$p(X=6，Y=偶数)=\frac{1}{3}\ast \frac{1}{2}=\frac{1}{6}$

$H(X,Y)=-[6\ast \frac{1}{6}\ast ln\frac{1}{6}+6\ast 0\ast ln0]$
$=ln6$
$H(X|Y)=H(X,Y)-H(Y)=ln6-ln2=ln3$

解法2:
$H(X|Y)$
$=-\sum p(x,y)lnp(x|y)$
$=-[p(1,奇数)lnp(1|奇数)+p(2,奇数)lnp(2|奇数)+p(3,奇数)lnp(3|奇数)+...]$
$=-[\frac{1}{6}\ast ln\frac{1}{3}+0\ast ln0+\frac{1}{6}\ast ln\frac{1}{3}+...]$
$=-(6\ast \frac{1}{6}\ast ln\frac{1}{3})$
$=-ln\frac{1}{3}$
$=ln3$

三、互信息

互信息：衡量两个信息的相关性；
$$I(X;Y)=\sum _{x\in X,y\in Y}p(x,y)ln\frac{p(x,y)}{p(x)p(y)}$$
$$I(X;Y)=H(X)-H(X|Y)$$

例如：信息A:“丢骰子，那丢出的数字是多少？”, 信息B:“丢骰子，那丢出的数字是奇数还是偶数？”
设数字是$x$，奇数、偶数是$y$；
解法1:
$I(X;Y)=H(X)-H(X|Y)=ln6-ln3=ln2$

解法2:
$I(X;Y)$
$={\sum }_{x\in X,y\in Y}p(x,y)ln\frac{p(x,y)}{p(x)p(y)}$
$=p(1,奇数)ln\frac{p(1,奇数)}{p(1)p(奇数)}+p(2,奇数)ln\frac{p(2,奇数)}{p(2)p(奇数)}+p(3,奇数)ln\frac{p(3,奇数)}{p(3)p(奇数)}+...$
$=\frac{1}{6}\ast ln\frac{\frac{1}{6}}{\frac{1}{6}\ast \frac{1}{2}}+0\ast ln\frac{0}{\frac{1}{6}\ast \frac{1}{2}}+\frac{1}{6}\ast ln\frac{\frac{1}{6}}{\frac{1}{6}\ast \frac{1}{2}}+...$
$=6\ast \frac{1}{6}\ast ln\frac{\frac{1}{6}}{\frac{1}{6}\ast \frac{1}{2}}$
$=ln\frac{\frac{1}{6}}{\frac{1}{6}\ast \frac{1}{2}}$
$=ln2$

四、相对熵（交叉熵, Ralative Entropy, Kullback-Leibler Divergence）

相对熵：用于衡量两个取值为正数的函数的相似性；
$$KL(f(x)||g(x))=\sum _{x\in X}f(x)\ast ln\frac{f(x)}{g(x)}$$
定理：
1、对于两个完全相同的函数，它们的相对熵等于0；
2、相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小；
3、对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。

由于$KL(f(x)||g(x))\ne KL(g(x)||f(x))$,所以还可以使用下面的公式进行计算相对熵：
$$JS(f(x)||g(x))=\frac{1}{2}\ast [KL(f(x)||g(x))+KL(g(x)||f(x))]$$

例如：函数F：“丢一个正四面骰子，得到各数字的概率”，函数G：“丢一个正六面骰子，得到各数字的概率”；
X = { 1 , 2 , 3 , 4 , 5 , 6 } X=\{1, 2, 3, 4, 5, 6\} X={1,2,3,4,5,6}
$f(1)=f(2)=f(3)=f(4)=\frac{1}{4}$
$f(5)=f(6)=0$
$g(1)=g(2)=g(3)=g(4)=g(5)=g(6)=\frac{1}{6}$
那么：
$KL(f(x)||g(x))$
$={\sum }_{x\in X}f(x)\ast ln\frac{f(x)}{g(x)}$
$=f(1)\ast ln\frac{f(1)}{g(1)}+f(2)\ast ln\frac{f(2)}{g(2)}+f(3)\ast ln\frac{f(3)}{g(3)}+...$
$=\frac{1}{4}\ast ln\frac{\frac{1}{4}}{\frac{1}{6}}+\frac{1}{4}\ast ln\frac{\frac{1}{4}}{\frac{1}{6}}+\frac{1}{4}\ast ln\frac{\frac{1}{4}}{\frac{1}{6}}+...+0\ast ln\frac{0}{\frac{1}{6}}$
$=4\ast \frac{1}{4}\ast ln\frac{\frac{1}{4}}{\frac{1}{6}}$
$=ln\frac{3}{2}$
$=ln3-ln2$