熵

熵，在热力学里和在信息论中均有提到。

其实，我觉得这两个熵不仅仅计算公式一样，含义也是一样的。

熵越大，系统越稳定。在信息论中，一般我们是想要熵小的系统，这样的系统表示我们对该系统的认知越多，但是，我觉得反应在图像中，就是一个脉冲分布，在某一个状态上出现极值点，而在别的地方出现的是0。其实，换句话说，我们都知道，脉冲分布的稳定性很差的。所以，在信息论中和在热力学中，熵的含义是一致的。

当然，这个东西的大小只是一个定性的衡量标准，同一个系统的熵大小来衡量我们是选择哪一个是可以的，但是就此说这个熵的大小就好。好坏都是比较出来的。

ps，我觉得解释熵最好的一本书就是  element of information theory. 其中的数学公式虽然多，但是对各个概念解释的非常清晰，我非常喜欢这本书，虽然关于熵、互信息、KL我老忘记具体公式，可回头一看总是有收获。