香农信息量
信息量表示不确定性的大小。 信息量的单位是比特（bit）。
香 农 信 息 量 = log 1 p = − log p ( 以 2 为 底 ) 香农信息量=\log\frac{1}{p}=-\log p\quad(以2为底) 香农信息量=logp1=−logp(以2为底)
上式中，p越小，则不确定性越大，包含的信息量就越多。比如32支球队，在无任何先验信息的前提下，用二分法猜冠军队伍，最多猜5次，那么信息量就是 log 1 32 = 5 \log \frac{1}{32}=5 log321=5。
信息熵（Entropy）
用于衡量信息量和变量的不确定度。熵越大，所涵盖的信息量越大，变量的不确定度越大。对于任意一个随机变量X，它的熵定义如下：
H ( X ) = − ∑ x ∈ X P ( x ) log P ( x ) H(X)=-\sum_{x\in X}P(x)\log P(x) H(X)=−x∈X∑P(x)logP(x)
当X中每个x的概率P(x)相等时，X的不确定度最大，熵最大，也就是其涵盖的信息量最大。
熵的概念来源于热力学中的熵，代表系统中的混乱程度（也就是不确定度）。熵越大，系统越混乱，越接近与均匀分布。（很容易想象，如果系统的分布很不均匀，也就是有某种规律在里面，那么系统的混乱程度就低）
条件熵（Conditional Entropy）
条件熵的含义是：假定X和Y是两个随机变量。现在我们知道X和Y同时出现的概率（联合分布），以及在Y取不同值的前提下X的概率分布（条件概率分布）。那么定义X在Y的条件下的条件熵为：
H ( X ∣ Y ) = − ∑ x ∈ X , y ∈ Y P ( x , y ) l o g P ( x ∣ y ) H(X|Y)=-\sum_{x\in X,y\in Y}P(x,y)logP(x|y) H(X∣Y)=−x∈X,y∈
最低0.47元/天 解锁文章
3194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
