信息熵、信息量、玻尔兹曼熵

目录

信息量：

信息熵：

玻尔兹曼熵（热力熵）：

---

信息量和信息熵完全不是一回事

信息量：

信息熵描述的是封闭系统中总体的加权信息量，单位是bits/symbol;而信息量描述的是系统中某一件事情的信息量,单位是bits，即信息熵是系统中所有事件信息量的加权平均。

信息熵：

如果系统越混乱，则信息熵就越大，所含有的总体加权信息量就越大，但是总体信息量就越少；如果系统越有序，则信息熵就越小，总体加权信息量就越小，但是总体信息量就越大。

信息熵的概念实际上是借鉴于热力熵，二者公式几乎一样。

玻尔兹曼熵（热力熵）：