熵的理解（玻尔兹曼分布）

• $\log_2n$（以 2 为底的对数）：用二进制数来表达不同的状态组合需要多少个二进制位；

0. 玻尔兹曼分布

网络中任意两个状态出现的概率与对应能量之间的关系：

$$\frac{P(\alpha)}{P(\beta)}=\frac{\exp(-E_0/T)}{\exp(-E_1/T)}$$

从式中可以得出两点结论，

• （1）BM 网络处于某一状态（$P(x=\alpha)$）下的概率主要取决于此状态下的能量 $E_\alpha$，能量越低，出现的概率越大；
• （2）BM 网络处于某一状态的概率还取决于温度参数 $T$，温度越高，不同状态出现的概率越接近，网络能量也较易跳出局部最小而搜索全局最小，
  
  • 温度低时，则情况相反；

1. 物理的解释

一个密封系统中，装有许多气体粒子（分子），共有 $N$ 个粒子（由于是密封，不会增加也不会减少），假设系统内部的温度为 $T$，系统内的分子有两种状态，$\epsilon_0,\epsilon_1$（前者表示低能量的状态，后者表示高能量的状态），处在 $\epsilon_0$ 能级上的粒子有 $n_0$ 个，处在 $\epsilon_1$ 能及上的粒子有 $n_1$ 个，显然一个永远满足的等式即为：

$$n_0+n_1=N$$

$N$ 个粒子，存在 $n_0$ 个 $\epsilon_0$ 和 $n_1$ 个 $\epsilon_1$这种分布的组合数（状态数）记为 $W$，则 $W=\binom{n_0}{N}=\binom{n_1}{N}=\frac{N!}{n_0!n_1!}$，

此时我们来计算系统的熵（与系统可能的状态数有关）：

$$S=k\log_2W=k\log_2\left(\frac{N!}{n_0!n_1!}\right)=k(\log_2N!-\log_2n_0!-\log_2n_1!)$$

$k$ 称为玻尔兹曼机常数，$W$ 为状态数。一些时刻之后向系统内施加一部分能量 $\epsilon$，有一粒子从低能级跃迁至高能级，$n_0-=1, n_1+=1$，则新状态下的熵为：

$$S'=k\log_2W'=k\log_2\left(\frac{N!}{(n_0-1)!(n_1+1)!}\right)=k(\log_2N!-\log_2(n_0-1)!-\log_2(n_1+1)!)$$

所以有系统能量的变化为：

$$\Delta S=S'-S=k\log_2\frac{n_0}{n_1+1} \approx k\log_2\frac{n_0}{n_1}$$

近似的原因在于，分子的数量是相当大的。由热力学的相关定理可知，

$$\Delta S =\frac{\epsilon}{T}=k\ln\frac{n_0}{n_1}$$

进一步可得出：

$$\frac{n_0}{n_1}=e^{\epsilon/{kT}}$$

这样的一个分布情况，就是玻尔兹曼分布；