【机器学习】什么是熵？

热力学中的熵

热力学第二定律指出，孤立系统自发的朝着热力学平衡方向最大熵状态演化。（即孤立系统的熵越来越高）

熵如何量化

统计学中的玻尔兹曼公式给出了一个密闭空间内熵的量化方式：
$$S=k\ast ln(W)$$

其中 S 是熵，k 是 玻尔兹曼常数，ln 是 自然对数，W 是系统的微观态数的总和（即当前状态下微观粒子的排列组合数）。

例：
以下有一个密闭空间内气体分子的运动为例。
状态A:存在一个隔板将空间中的分子运动限制在孤立空间的左侧。
状态B:将隔板拆除，左侧的分子开始向右侧扩散，直至均匀分布在整个孤立空间。

A状态下的熵：
$$S_a=k\ast ln(W_a)$$
A状态下的微观态数可视为当前状态下的微观粒子的排列组合数，即选取全部N个蓝分子放入左侧空间，再放入全部N个红分子。
$$W_a=C_N^N{C}_N^N=1$$

B状态下的熵:
$$S_b=k\ast ln(W_b)$$
B状态下的微观态数可视为当前状态下的微观粒子的排列组合数，即从 $N$个蓝分子中选取 $N_A$个放入左侧空间，剩下的$N-N_A$个放在右侧。再从 $N$个红分子中选取 $N_B$个放入左侧空间，剩下的$N-N_B$个放在右侧。
故：
$$W_b=C_N^{N_A}{C}_{N-N_A}^{N-N_A}{C}_N^{N_B}{C}_{N-N_B}^{N-N_B}=C_N^{N_A}{C}_N^{N_B}=\frac{N!}{N_A!\cdot (N-N_A)!}\cdot \frac{N!}{N_B!\cdot (N-N_B)!}$$

在 $N_a!=N,其N_b!=N时，W_b>1,即W_b>W_a。即S_b>S_a。$

所以我们可以得知，从状态A到状态B，孤立空间的熵在增加。

由下列的$N_A-S$曲线我们得知当$N_A=N_B=N/2$时，孤立空间熵的值达到最大。

由此可知，该孤立系统的最大熵平衡状态为蓝红分子均匀分布于孤立空间内。

（在这里，简化了计算的情况，只将孤立空间分为2个部分，其实我们可以分成更多的部分，以增加W的数量，提高准确性）

所以，熵是什么？

熵是一种信息度量，体现了在系统当前状态下，个体组合方式的多样性程度。
在一个孤立系统中它具有不可逆增加的特性。