定义
表示信源发出信息的不确定性。熵越大,不确定性越高,系统混杂程度越高,信息熵越大,所以任何系统都是一个熵不减的过程,熵要么不变,要么变大。
例子
投掷一枚硬币,假定出现正反面的概率分别为2/3,1/3。则信息熵:
E=−log(1/3)−log(2/3)
E
=
−
l
o
g
(
1
/
3
)
−
l
o
g
(
2
/
3
)
熵和似然函数
似然函数极值越大,熵越小。反之。