本文介绍了信息论的基础概念，包括自信息（衡量信源符号不确定性的量）、信息熵（信源的平均信息量）、条件自信息和条件熵（衡量收到Y时X的剩余不确定性）、互信息（衡量两个变量间的信息交换）以及联合熵。此外，还讨论了信息率（信号的平均熵）与信道容量的关系，后者是可靠传输的最大信息速率。
自信息
自信息衡量的是信源符号本身的不确定性。信源符号发生的概率越大，自信息越小；反之，自信息越大。若信源符号 s i s_{i} si发生的概率为 p i p_{i} pi，则 s i s_{i} si的自信息记为 I ( s i ) I(s_{i}) I(si)。公式为：
I ( s i ) = l o g 1 p i = − l o g p i I(s_{i})=log\frac{1}{p_{i}}=-logp_{i} I(si)=logpi1=−logpi
（log可以以2，e为底，若以2为底，则以bit为单位；以e为底，以nat为单位）
信息熵
信息熵是信源发出符号的平均信息量，衡量信源的不确定性。记为 H ( S ) H(S) H(S)，公式为：
H ( S ) = ∑ i = 1 n p i I ( s i ) = − ∑ i = 1 n p i l o g p i H(S)=\sum_{i=1}^{n}p_{i}I(s_{i})=-\sum_{i=1}^{n}p_{i}logp_{i} H(S)=i
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
