熵、条件熵、相对熵的介绍

熵的定义

熵是热力学中的概念，表示体系混乱程度的度量。在计算机领域中，熵通常用来表示信息的不确定性程度。信息量的度量就等于不确定性的多少，信息量越大，不确定性越高，熵越大。

例如：有人说广东下雪了。 我们是十分不确定的。因为广东几十年来下雪的次数寥寥无几。为了搞清楚，我们就要去看天气预报，新闻，询问在广东的朋友，而这就需要大量的信息，信息熵很高

例如：太阳从东边出来。这句话是确定的，信息量非常小，因此熵很小。

信息熵的定义

 

p(x)表示随机变量x发生的概率，0<=p(x)<=1,所以熵总是一个大于等于0 的数,

熵减：消除不确定性

 

 

条件熵

知道Y的情况，以及X和Y一起出现的概率，数学上称为联合概率P(X,Y)

。定义在Y条件下X的条件熵为

可以证明：H(X)>=H(X|Y),也就是说，多了Y，X的不确定性下降了。信息的作用在于消除不确定性。

互信息

互信息表示了两个随机变量的相关性，例如乌云和下雨，两个事物的相关性就很高。

假定现在有两个随机事件X和Y，他们的互信息定义如下

这个信息表明了随机变量X在指导Y条件下的不确定性，或者说条件熵H(X|Y)之间的差异，即

就是在了解Y的前提下，消除X的不确定性

互信息的取值范围是0<= I(X:Y) <=min(H(X),H(Y)),当X和Y完全相关时，它的取值是1,当X和Y完全不相关时，它的取值为0。

 

相对熵

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 [1] 。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 [2] 。

相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数 [3] 。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗

设P(X),Q(X) 是随机变量X 上的两个概率分布，则在离散和连续随机变量的情形下，相对熵的定义分别为

在同样的字符集上，假设存在另一个概率分布 ,假设存在另一个分布Q(x).如果用P(x)表示最优编码(即字符x的编码长度为log(1/p(x))，来为分布Q(x) 的字符编码，那么表示这些字符就会比理想情况多用一些比特数。相对熵就是用来衡量这种情况下平均每个字符多用的比特数，因此可以用来衡量两个分布的距离，即：

KL(P||Q)>=0且在P==Q时取0

 

 

相对熵的性质:

熵在决策树，信息熵和信息增益；EM算法损失函数定义，最大熵模型等处有应用。

 

内容来自：

吴军《数学之美》第二版

百度百科：https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fr=aladdin