对话通信原理——信息

信息量

I（信息量）＝不确定程度的减少量

自信息量

定义：一个随机事件的自信息量定义为其出现概率对数的负值。
一个消息越不可预测，它所含的信息量就越大
（消息发生的概率越低，信息量越大）

a=2,单位为比特（bit）

信息熵（平均信息量）

大体了解概念和公式，以后再深究。

学习视频：《对话通信原理视频》

公式补充

$1.信息熵$
$H(X)=E[-lo{g}_{2}p(x_i)]={\sum }_{i=1}^{n}p(x_i)lo{g}_2\frac{1}{p(x_i)}比特/符号$
也 可 用 H ( p 1 , p 2 , . . . , p n ) 表 示 也可用H(p_1,p_2,...,p_n)表示