信息熵

定义

表示信源发出信息的不确定性。熵越大，不确定性越高，系统混杂程度越高，信息熵越大，所以任何系统都是一个熵不减的过程，熵要么不变，要么变大。

例子

投掷一枚硬币，假定出现正反面的概率分别为2/3，1/3。则信息熵：
$E=-log(1/3) - log(2/3)$

熵和似然函数

似然函数极值越大，熵越小。反之。