参考:https://www.zhihu.com/question/19753084/answer/32205378
类似其他度量,我们希望对一个事情的随机性有一个度量,当一个事情是确定发生的时候,熵是最小的。随着事情的随机性越大,熵也相应地越大。
以抛硬币为例:如果硬币是完全均匀的,正面和反面的概率完全一致,那么最终硬币的结果不会偏向任何一种情况,从而熵是最大的。
数学定义
熵是一个大于等于0的数,当事情是确定性时,相当于只有一个等于1,剩下都为0,从而熵等于0。
类似其他度量,我们希望对一个事情的随机性有一个度量,当一个事情是确定发生的时候,熵是最小的。随着事情的随机性越大,熵也相应地越大。
以抛硬币为例:如果硬币是完全均匀的,正面和反面的概率完全一致,那么最终硬币的结果不会偏向任何一种情况,从而熵是最大的。
熵是一个大于等于0的数,当事情是确定性时,相当于只有一个等于1,剩下都为0,从而熵等于0。