随机事件的自信息
定义:
表示随机事件x包含的信息量。
它有两个含义:
1.表示事件发生的不确定性(事件发生前);
2.表示该事件所提供的信息量(事件发生后)。
公式: I ( x i ) = l o g 1 p ( x i ) = − l o g p ( x i ) I(x_i)=log\frac {1}{p(x_i)}=-logp(x_i) I(xi)=logp(xi)1=−logp(xi)
信息熵(Information Entropy)
含义:
1.描述信息源X的平均不确定性
2.平均每个信息源符号所携带的信息量
信息熵是表示随机变量不确定性的度量。熵取值越大,随机变量的不确定性越大。
公式: H ( X ) = − ∑ i = 1 n p ( x i ) l o g ( p ( x i ) ) H(X)=-\sum_{i=1}^np(x_i)log(p(x_i))