1. 香农熵(Shannon entropy)
信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高。
如果一个随机变量
X
的可能取值为
2. 相对熵(relative entropy)
所谓相对,自然在两个随机变量之间。又称互熵,Kullback–Leibler divergence(K-L 散度)等。设
p(x)
和
q(x)
是
X
取值的两个概率分布,则
在一定程度上,熵可以度量两个随机变量的距离。KL 散度是两个概率分布 P 和 Q 差别的非对称性的度量。KL 散度是用来度量使用基于 Q 的编码来编码来自 P 的样本平均所需的额外的位元数。
典型情况下,P 表示数据的真实分布,Q 表示数据的理论分布,模型分布,或 P 的近似分布。
相对熵的性质,相对熵(KL散度)有两个主要的性质。如下
- (1)尽管 KL 散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即
D(p||q)≠D(q||p)
(2)相对熵的值为非负值,即
D(p||q)≥0
在证明之前,需要认识一个重要的不等式,叫做吉布斯不等式。内容如下
这里提供一个离散型 KL 散度的简单实现:
from functools import reduce
import operator
import math
def kl(p, q):
return reduce(operator.add, map(lambda x, y: x*math.log(x/y), p, q))
3. 交叉熵(cross entropy)
- H(p,q)=−∑xp(x)logq(x)