信息量、香农熵、交叉熵、KL散度的意义

---

1. 信息量

相关概念：

对于一个事件：

• 小概率 – > 大的信息量
• 大概率 – > 小的信息量
• 多个独立事件的信息量计算可以直接相加

表达公式：

信息量的计算公式：

$$\begin{array}{rl}& I(x)=lo{g}_2(\frac{1}{p(x)})=-lo{g}_2(p(x))\end{array}$$

举例：

①均匀的硬币

事件	概率	信息量
正面	$p(h)=0.5$	$I_p(h)=lo{g}_2(\frac{1}{0.5})=1$
反面	$p(t)=0.5$	$I_p(t)=lo{g}_2(\frac{1}{0.5})=1$

②不均匀的硬币

事件	概率	信息量
正面	$q(h)=0.2$	$I_q(h)=lo{g}_2(\frac{1}{0.2})=2.32$
反面	$q(t)=0.8$	$I_q(t)=lo{g}_2(\frac{1}{0.8})=0.32$

2. 香农熵

熵的概念：服从某一概率分布的平均信息量（期望），也是一种不确定度的计算方式。

香农熵的计算公式：

$$\begin{array}{rl}& H(p)=\sum p_i{I}_i^p=\sum p_{i}lo{g}_2(\frac{1}{p_i})=-\sum p_{i}lo{g}_2(p_i)\end{array}$$

举例：

①均匀的硬币 $p(h)=0.5$,$p(t)=0.5$

$H(p)=p(h)lo{g}_2\frac{1}{p(h)}+p(t)lo{g}_2\frac{1}{p(t)}=0.5\times 1+0.5\times 1=1$

②不均匀的硬币 $q(h)=0.2$,$q(t)=0.8$

$H(p)=q(h)lo{g}_2\frac{1}{q(h)}+q(t)lo{g}_2\frac{1}{q(t)}=0.2\times 2.32+0.8\times 0.32=0.72$

- -总结- -
对于一个概率分布：

• 概率分布越平均 – > 越随机 – > 熵越大
• 概率分布越聚拢 – > 越确定 – > 熵越小

3. 交叉熵

还是用上面的例子

一个均匀硬币：
    真实概率(ground truth probability)：$p(h)=0.5,p(t)=0.5$
    估计概率(estimated probability)： $q(h)=0.2,q(t)=0.8$

给定估计概率分布$q$，其真实概率分布$p$的信息量的均值（期望）的估算如下：

$$\begin{array}{rl}& H(p,q)=\sum p_i{I}_i^q=\sum p_{i}lo{g}_2(\frac{1}{q_i})=-\sum p_{i}lo{g}_2(q_i)\end{array}$$

• 使用期望$H(p,q)$代替真实概率分布$p$，因为数据根据真实概率分布出现
• 使用估计的概率分布$q$来量化信息量$H(p,q)$

解释：
    在数据分布总是符合真实概率分布的情况下，期望值取代真实概率分布意味着我们在使用期望值来进行预测或计算，而不是直接使用真实的概率分布。这种情况在许多实际应用中非常常见，因为真实概率分布通常是未知的，我们只能基于观测数据进行估计。

根据交叉熵的计算公式，我通过举例两种情况来说明交叉熵的意义：

    假如$q(h)=0.2,q(t)=0.8$，它与真实概率分布$p(h)=0.5,p(t)=0.5$，相差较大。计算交叉熵：

$$\begin{array}{r}H(p,q)=p(h)lo{g}_2\frac{1}{q(h)}+p(t)lo{g}_2\frac{1}{q(t)}=0.5\times 2.32+0.5\times 0.32=1.32\end{array}$$

    假如$q(h)=0.4,q(t)=0.6$，它与真实概率分布$p(h)=0.5,p(t)=0.5$，相差较小。计算交叉熵：

$$\begin{array}{r}H(p,q)=p(h)lo{g}_2\frac{1}{q(h)}+p(t)lo{g}_2\frac{1}{q(t)}=0.5\times 1.32+0.5\times 0.74=1.03\end{array}$$

其中，1.03相比于1.32更接近1。从上面两种情况可以得出，估计概率与真实概率相差越大，其交叉熵越偏离真实的$H(p)(=1)$

4. KL散度(Kullback-Leibler Divergence(Relative Entropy))

概念：一种计算两种不同概率分布的差距的量化方式，比如交叉熵和熵。

$$\begin{array}{rl}D(p||q)& =H(p,q)-H(p)\\ & =\sum p_i{I}_i^q-\sum p_i{I}_i^p\\ & =\sum p_{i}lo{g}_2(\frac{1}{q_i})-\sum p_{i}lo{g}_2(\frac{1}{p_i})\\ & =\sum p_{i}lo{g}_2(\frac{p_i}{q_i})\end{array}$$

• $D(p||q)\ge 0$，当且仅当两个分布相同时，$D(p||q)=0$；

• $D(p||q)\ne D(q||p)$，即不是一种距离度量；

• 有时，最小化KL散度等价于最小化交叉熵 ，例如，${\nabla }_{\theta }D(p||q_{\theta })={\nabla }_{\theta }H(p,q_{\theta })-{\nabla }_{\theta }H(p)={\nabla }_{\theta }H(p,q_{\theta })$