认识各种熵
熵
假如一个朋友告诉你外面下雨了，你也许觉得不怎么新奇，因为下雨是很平常的 一件事情，但是如果他告诉你他见到外星人了，那么你就会觉 得很好奇: 真的吗?外星人长什么样?同样两条信息， 一条信息量很小， 一条信息量很大，很有价值。我们可以用熵来度量生活中的各个信息量。
信息熵
那么怎么量化上面所说的这个价值呢?这就需要信息熵， 一个随机变量 X 的信息熵定义如下：
H ( X ) = − ∑ x ϵ X p ( x ) log p ( x ) H(X) = -\sum_{x\epsilon X}p(x)\log p(x) H(X)=−xϵX∑p(x)logp(x)
信息越少，事件(变量)的不确定性越大，它的信息熵也就越大，搞 明白该事件所需要的额外信息就越多， 也就是说搞清楚小概 率事件所需要 的额外信息较多，比如说，为什么大多数 人愿意相信专 家 的话，因为专家 在他专注的领域了解的知识(信息量)多 ，所以他对某事件的看法较透彻， 不确定性就越小，那么他所传达出来的信息量就很大， 听众搞明白该事件所需要的额外信息量就很小。总之，记住一句话: 信息熵表示的是不确定性的度量。信息熵越大，不确定性越大。
联合熵与条件熵
联合熵的 定义为：
H ( X , Y ) = − ∑ x ϵ X , y ϵ Y p ( x , y ) log p ( x , y ) H(X,Y) = -\sum_{x\epsilon X,y\epsilon Y}p(x,y)\log{p(x,y)} H(X,Y)=−xϵX,yϵY∑p(x,y)logp(x,y)
联合熵描述的是一对随机变量X和 Y的不确定性。
条件熵的定义为：
H ( Y ∣ X ) = − ∑ x ϵ X , y ϵ Y p ( x , y ) log p ( y ∣ x ) H(Y|X) = -\sum_{x\epsilon X,y\epsilon Y}p(x,y)\log{p(y|x)} H(Y∣X)=−xϵX,yϵY∑p(x,y)logp(y∣x)
条件熵衡量的是 : 在一个随机变量 X 己知的情况下，另一个随机变量Y 的不确定性。
相对熵，互信息，交叉熵
相对熵(又叫 KL 距离，信息增益) 的定义如下：
D K L ( p ∣ ∣ q ) = ∑ x ϵ X p ( x ) log p ( x ) q ( x ) D_{KL}(p||q) = \sum_{x\epsilon X}p(x)\log{\frac{p(x)}{q(x)}} </
最低0.47元/天 解锁文章
1375
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
