小孩都看得懂的熵、交叉熵和 KL 散度

全文共 4351 字，23 幅图，

预计阅读时间 22 分钟。

本文是「小孩都看得懂」系列的第八篇，本系列的特点是极少公式，没有代码，只有图画，只有故事。内容不长，碎片时间完全可以看完，但我背后付出的心血却不少。喜欢就好！

1. 小孩都看得懂的神经网络

2. 小孩都看得懂的推荐系统

3. 小孩都看得懂的逐步提升

4. 小孩都看得懂的聚类

5. 小孩都看得懂的主成分分析

6. 小孩都看得懂的循环神经网络

7. 小孩都看得懂的 Embedding

8. 小孩都看得懂的熵、交叉熵和 KL 散度

本文被以下三份资料所启发，纯纯的致敬！

• [Christopher Colah] - Visual Information Theory

• [Aurélien Géron] - A Short Introduction to Entropy, Cross-Entropy and KL-Divergence

• [Luis Serrano] - Shannon Entropy and Information Gain

这次还拿马赛克队的哈登来举例 。

1

主题：物理概念的熵

熵（entropy）是物理中的一个概念。如下图，水有三种状态：固态、液态和气态，分别以冰、水和水蒸气的形式存在。

它们具有不同的熵值：

• 冰中的分子位置固定，处于稳定状态，因此冰具有低熵值

• 水中的分子相对可以进行一些移动，因此水具有中熵值

• 水蒸气中的分子几乎可以移动到任何地方，因此水蒸气具有高熵值

现在你大体有个感觉，越不稳定的东西具有的熵值越大。

世界处处充满不确定性，从不确定到确定肯定是得到了额外的信息。从计算机专业术语来讲，比特（BIT, Binary Digit）是衡量信息的单位。 

讲到这里小孩可能听不懂了&#