以下内容基本来自于《统计自然语言处理》:
熵又称为自信息(self-information),可以视为描述一个随机变量 的不确定性的数量。它表示信源X每发一个符号(不论发什么符号)所 提供的平均信息量[姜丹,2001]。一个随机变量的熵越大,它的不确 定性越大,那么,正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。
联合熵: H(X,Y) = H(X) + H(Y|X) ——熵的连锁规则,描述一对随机变量平均所需的信息量
互信息:根据熵的连锁规则,H(X,Y )= H(X) + H(Y|X) = H(Y) + H(X|Y)
所以有H(X)-H(X|Y) = H(Y)-H(Y|X) ----X和Y的互信息I(X; Y)=H(X)-H(X|Y)
反映了在指定了Y值以后,X不确定性的减少量,或者说,Y透露了多少X的信息量
![](https://i-blog.csdnimg.cn/blog_migrate/e30bd88064a177bf0831776484acb3f7.png)
如果I(X;Y)=0,表明X、Y相互独立,如果>0,表面是相关的
相对熵:衡量两个概率分布相对差距的测度。 当两个随机分布完全相同时,相对熵0。两个概率分布p(x)和q(x)的相对熵定义为D(p || q)
交叉熵:用来衡量估计模型与真实概率分布直接的差异情况的,如果一个随机变量X~p(x),q(x)为近似p(x)的概率分布,那么随机变量X和模型q之间的交叉熵为H(X,q) = H(X) + D(p||q)