1.期望和方差:
期望表示为
![](https://i-blog.csdnimg.cn/blog_migrate/6c67bdcf14872eb4e70fd023322a1520.png)
方差表示为
![](https://i-blog.csdnimg.cn/blog_migrate/ef4732f6334fc2ab1b31bd0a2668b5ea.png)
2.熵:
熵的定义为:如果X是一个离散型随机变量,取值空间为R,其概率分布为 p(x)=P(X=x),x∈R。那么,X的熵H(X)定义为式(2-22):
![](https://i-blog.csdnimg.cn/blog_migrate/7d39961f14ddd0b6f48208b795e18660.png)
熵又称为自信息(self-information),可以视为描述一个随机变量 的不确定性的数量。它表示信源X每发一个符号(不论发什么符号)所 提供的平均信息量[姜丹,2001]。一个随机变量的熵越大,它的不确 定性越大,那么,正确估计其值的可能性就越小。越不确定的随机变量 越需要大的信息量用以确定其值。
3.联合熵和条件熵:如果X,Y是一对离散型随机变量X,Y~p(x, y),X,Y的联合熵 (joint entropy)H(X,Y)定义为
![](https://i-blog.csdnimg.cn/blog_migrate/59f4f3c33fac085c113af6df89993a6e.png)
联合熵实际上就是描述一对随机变量平均所需要的信息量。 给定随机变量X的情况下,随机变量Y的条件熵(conditional entropy)由式(2-24)定义:
![](https://i-blog.csdnimg.cn/blog_migrate/4ec0887ce1e4d7f68ff3360f61fca296.png)
因为p(x,y)=p(x|y)p(y),所以2-23的公式又可以拆分为:
![](https://i-blog.csdnimg.cn/blog_migrate/f2f92150070728cd3dd1ea77ee71f437.png)
我们称式(2-25)为熵的连锁规则(chain rule for entropy)
3.互信息:
3.互信息:
根据熵的连锁规则,有 H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y),因此H(X)-H(X|Y)=H(Y)-H(Y|X)。这个差叫做X和Y的互信息(mutual information, MI),记作I(X;Y)。或者定义为:如果(X,Y)~p(x, y),则X,Y之间的互信息I(X; Y)=H(X)-H(X|Y)。
互信息和熵之间的关系可以用图2-1表示:
![](https://i-blog.csdnimg.cn/blog_migrate/64eda88ceb92ba4f9e8825a08577f4b6.png)
如果将定义中的H(X)和H(X|Y)展开,可得
![](https://i-blog.csdnimg.cn/blog_migrate/addb46eddce8f7727e7fe4b04f2d3d23.png)
实际上,互信息体现了两变量之间的依赖程度:如果I(X;Y) ≫0,表明X和Y是高度相关的;如果I(X;Y)=0,表明X和Y是相互 独立的;如果I(X;Y)≪0,表明Y的出现不但未使X的不确定性减 小,反而增大了X的不确定性,常是不利的。
同样,我们可以推导出条件互信息和互信息的连锁规则:
![](https://i-blog.csdnimg.cn/blog_migrate/f5cdd7d2fcfc77c82feb459cdda4ff0a.png)
互信息在词汇聚类(word clustering)、汉语自动分词、词义消歧等 问题的研究中具有重要用途。
4.相对熵:
相对熵(relative entropy)又称Kullback-Leibler差异(KullbackLeibler divergence),或简称KL距离,是衡量相同事件空间里两个概率 分布相对差距的测度。两个概率分布p(x)和q(x)的相对熵定义为:
![](https://i-blog.csdnimg.cn/blog_migrate/f1477831d90f97d63f5862b6848b228b.png)
表示成期望值为:
![](https://i-blog.csdnimg.cn/blog_migrate/7bee056cbf9527df2da1980163209f69.png)
6.交叉熵:
交叉熵的概念就是用来衡量估计模型与真实概率分布 之间差异情况的。如果一个随机变量X~p(x),q(x)为用于近似p(x)的概率分 布,那么,随机变量X和模型q之间的交叉熵(cross entropy)定义为
![](https://i-blog.csdnimg.cn/blog_migrate/efe8a8374f6061d05baa5ee7688530e1.png)