熵

熵

–

信息熵 Entropy

如果一个随机变量的取值范围为$X=\{x_1,x_2,...,x_n\}$,对应的概率为$p(X=x_i)(i=1,2,..,n)$则随机变量X的信息熵为

$H(X)=-\sum_{x\in X}p(x)logp(x)$

联合熵 Joint Entropy

如果$X,Y$是一对离散型随机变量$X,Y\sim p(x,y)$, $X,Y$的联合熵$H(X,Y)$为:

$H(X,Y) = \sum_{x\in X}\sum_{y\in Y}-p(x,y)logp(x,y)$

联合熵实际上就是描述一对随机变量平均所需要的信息量。
$p(x_i,y_i)$为$X=x_i$,$Y=y_i$时的概率。

条件熵 Conditional Entropy

给定随机变量$X$的情况下，随机变量$Y$的条件熵为：

$H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x) \\ \quad \quad \ \ \ =\sum_{x\in X}p(x)[-\sum_{y\in Y}p(y|x)logp(y|x) ] \\ \quad \quad \ \ \ =- \sum_{x\in X}\sum_{y\in Y}p(x)p(y|x)log(y|x) \\ \quad \quad \ \ \ =- \sum_{x\in X}\sum_{y\in Y}p(x,y)log(y|x)$

条件熵也可以写成:

$H(Y|X) = H(X,Y)- H(X)$

推导如下：

$H(X,Y) = -\sum_{x\in X}\sum_{y\in Y}p(x,y)logp(x,y) \\ \quad \quad\ \ \ \ = -\sum_{x\in X}\sum_{y\in Y}p(x,y)log[p(x)p(y|x)] \\ \quad \quad\ \ \ \ = -\sum_{x\in X}\sum_{y\in Y}p(x,y)[logp(x)+logp(y|x)] \\ \quad \quad \ \ \ \ = -\sum_{x\in X}\sum_{y\in Y}(p(x,y)logp(x)+p(x,y)logp(y|x)) \\ \quad \quad \ \ \ \ = -\sum_{x\in X}\sum_{y\in Y}p(x,y)logp(x)-\sum_{x\in X}\sum_{y\in Y}p(x,y)logp(y|x)\\ \quad \quad \ \ \ \ = -\sum_{x\in X}\sum_{y\in Y}p(x,y)logp(x)+H(Y|X) \\ \quad \quad \ \ \ \ =-\sum_{x\in X}logp(x)\sum_{y\in Y}p(x,y)+H(Y|X) \\ \quad \quad \ \ \ \ =-\sum_{x\in X}logp(x)p(x)+H(Y|X) \\ \quad \quad \ \ \ \ = H(x)+H(Y|X)$

互信息 Mutual Information

互信息(Mutual Information)度量两个事件集合之间的相关性(mutual dependence)
针对两个随机变量$X,Y$,假如其随机概率分别为$p(x),p(y)$,其联合概率分布$p(x,y)$,则$X,Y$的互信息$I(X;Y)$定义如下:

$I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$

假如随机变量$X$,$Y$独立，则互信息为0，可由下式证明:

$log(\frac{p(x,y)}{p(x)p(y)})=log1=0$

互信息也可以等价表示为:

$I(X;Y)=H(X)-H(X|Y) \\ \quad \quad \ \ \ = H(Y)-H(Y|X) \\ \quad \quad \ \ \ = H(X)+X(Y)-H(X,Y)$

证明如下:

$I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)} \\ \quad \quad \ \ \ = \sum_{x\in X}\sum_{y\in Y}(p(x,y)log\frac{p(x,y)}{p(x)}-p(x,y)p(y))\\ \quad \quad \ \ \ = \sum_{x\in X}\sum_{y\in Y}p(x,y)logp(y|x)- \sum_{y\in Y}logp(y)\sum_{x\in X}p(x,y)\\ \quad \quad \ \ \ = \sum_{x\in X}\sum_{y\in Y}p(x)p(y|x)logp(y|x)-\sum_{y\in Y}logp(y)p(y)\\ \quad \quad \ \ \ = \sum_{x\in X}p(x)\sum_{y\in Y}p(y|x)logp(y|x)-H(Y)\\ \quad \quad \ \ \ = -H(Y|X)+H(Y)\\ \quad \quad \ \ \ = H(Y)–H(Y|X)$

KL散度 Relative Entropy

设$p(x)$和$q(x)$是$X$取值的两个概率分布，则$p$对$q$的相对熵为

$D_{KL}(p||q)=\sum_{x\in X}p(x)log\frac{p(x)}{q(x)}$

可以把 Kullback-Leibler 散度看做两个分布 $p(x)$ 和 $q(x)$ 之间不相似程度的度量。相对熵常被用以衡量两个随机分布的差距。当两个随机分布相同时,其相对熵为0。当两个随机分布的差别增加时,其相对熵也增加。

互信息也可以表示为两个随机变量的边缘分布 $X$ 和 $Y$ 的乘积 $p(x)p(y)$ 相对于随机变量的联合熵 $p(x,y)$ 的相对熵：

$I(X;Y)=D_{KL}(p(x,y)||p(x)p(y))$

需指出相对熵是不对称的,为此詹森和香农提出一种新的相对熵的计算方法，将上面的不等式两边取平均，即

$JS(p||q)=\frac{1}{2}[D_{KL}(p||q)+D_{KL}(q||p)]$