1 自信息
自信息是用来衡量单一事件发生时所包含的信息量，这里主要介绍自信息、条件自信息与联合自信息。
1.1 自信息
事件集合X中的事件 x = a i x=a_i x=ai的自信息定义为 I ( x ) = − log p ( x ) I(x)=-\log{p(x)} I(x)=−logp(x)上式中，对 p ( x ) p(x) p(x)有， ∑ x p ( x ) = 1 \sum\limits_{x}{p(x)=1} x∑p(x)=1， 0 ≤ p ( x ) ≤ 1 0\le p(x)\le 1 0≤p(x)≤1。因此有 I ( a i ) = − log p ( a i ) = log 1 p ( a i ) I(a_i)=-\log p(a_i)=\log\frac{1}{p(a_i)} I(ai)=−logp(ai)=logp(ai)1其中， ∑ i p ( a i ) = 1 ， 0 ≤ p ( a i ) ≤ 1 \sum\limits_i{p(a_i)=1}，0\le p(a_i)\le 1 i∑p(ai)=1，0≤p(ai)≤1。
在事件发生前，自信息表示事件发生时的不确定性；而在事件发生后，自信息则表示事件所包含的信息量。
1.2 条件自信息
事件 x
最低0.47元/天 解锁文章
5056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
