信息熵学习

越小概率事件的发生了产生的信息量越大，具体事件的信息量随着其发生的概率增大而递减。

信息熵：
信息量度量的是一个具体事件发生了所带来的信息，熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。
描述了该事物或总体内部包含信息复杂程度，熵值越大表示不确定性越高。

公式：

来源：https://zhuanlan.zhihu.com/p/26486223