香农信息量
信息量表示不确定性的大小。 信息量的单位是比特(bit)。
香 农 信 息 量 = log 1 p = − log p ( 以 2 为 底 ) 香农信息量=\log\frac{1}{p}=-\log p\quad(以2为底) 香农信息量=logp1=−logp(以2为底)
上式中,p越小,则不确定性越大,包含的信息量就越多。比如32支球队,在无任何先验信息的前提下,用二分法猜冠军队伍,最多猜5次,那么信息量就是 log 1 32 = 5 \log \frac{1}{32}=5 log321=5。
信息熵(Entropy)
用于衡量信息量和变量的不确定度。熵越大,所涵盖的信息量越大,变量的不确定度越大。对于任意一个随机变量X,它的熵定义如下:
H ( X ) = − ∑ x ∈ X P ( x ) log P ( x ) H(X)=-\sum_{x\in X}P(x)\log P(x) H(X)=−x∈X∑P(x)logP(x)
当X中每个x的概率P(x)相等时,X的不确定度最大,熵最大,也就是其涵盖的信息量最大。
熵的概念来源于热力学中的熵,代表系统中的混乱程度(也就是不确定度)。熵越大,系统越混乱,越接近与均匀分布。(很容易想象,如果系统的分布很不均匀,也就是有某种规律在里面,那么系统的混乱程度就低)
条件熵(Conditional Entropy)
条件熵的含义是:假定X和Y是两个随机变量。现在我们知道X和Y同时出现的概率(联合分布),以及在Y取不同值的前提下X的概率分布(条件概率分布)。那么定义X在Y的条件下的条件熵为:
H ( X ∣ Y ) = − ∑ x ∈ X , y ∈ Y P ( x , y ) l o g P ( x ∣ y ) H(X|Y)=-\sum_{x\in X,y\in Y}P(x,y)logP(x|y) H(X∣Y)=−x∈X,y∈