数学基础_4——信息论

本篇博客不包含深度学习中所有的数学知识，只是我在学习过程中，对不会或者不熟悉的数学知识的记录，因此部分内容和推导我会省略掉。

自信息

任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。

如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。

从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。

定义事件 $X=x$ 的自信息为
$$I\left(x\right)=-{\log }_{2}P\left(x\right)$$

香农熵(Shannon Entropy)

当一个事件发生的概率为 $p\left(x\right)$，那么它的信息量是 $-\log p\left(x\right)$

如果把这个事件的所有可能性罗列出来，就可以求得该事件信息量的期望

信息量的期望就是熵，所以熵的公式为
$$H\left(\mathrm{x}\right)={\mathbb{E}}_{\mathrm{x}\sim P}\left[I\left(x\right)\right]=-{\mathbb{E}}_{\mathrm{x}\sim P}\left[\log P\left(x\right)\right]$$
也可以表述为
$$H\left(\mathrm{x}\right)=-\sum _{i=1}^{n}p\left(x_i\right)\log p\left(x_i\right)$$
对于 0-1 分布问题，熵的计算可以简化为
$$H\left(\mathrm{x}\right)=-p\left(x\right)\log \left(p\left(x\right)\right)-\left(1-p\left(x\right)\right)\log \left(1-p\left(x\right)\right)$$

相对熵(KL 散度)(Kullback-Leibler divergence)

对于同一个随机变量 $\mathbf{x}$，如果其有两个单独的概率分布 $P(\mathbf{x})$ 和 $Q(\mathbf{x})$，可以使用 KL 散度来衡量这两个分布的差异。KL 散度越小，真实分布与近似分布之间的匹配就越好。
$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\mathbb{E}}_{\mathrm{x}\sim P}\left[\log \frac{P(x)}{Q(x)}\right]={\mathbb{E}}_{\mathrm{x}\sim P}[\log P(x)-\log Q(x)]$$
在机器学习中，$P$ 往往用来表示样本的真实分布，$Q$ 用来表示模型所预测的分布，那么 KL 散度就可以计算两个分布的差异，也就是 Loss
$$D_{KL}(P\Vert Q)=\sum _{i=1}^{n}P(x_i)\log \frac{P(x_i)}{Q(x_i)}$$
因为 KL 散度是非负的并且衡量的是两个分布之间的差异，它经常被用作分布之间的某种距离

然而，它并不是真的距离因为它不是对称的：对于某些 $P$ 和 $Q$，$D_{KL}(P\Vert Q)\ne D_{KL}(Q\Vert P)$。

这种非对称性意味着选择 $D_{KL}(P\Vert Q)$ 还是 $D_{KL}(Q\Vert P)$ 影响很大。

对于 KL 散度的直观解释可以看这篇文章：初学机器学习：直观解读KL散度的数学概念

如何证明 KL 散度大于等于 $0$ (未解决)

交叉熵(Cross Entropy)

两个分布 $P$ 和 $Q$ 之间的交叉熵定义为：
$$H\left(P,Q\right)=-{\mathbb{E}}_{x\sim P}\left[\log Q\left(x\right)\right]$$

将 KL 散度公式变形：
$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\mathbb{E}}_{\mathrm{x}\sim P}[\log P(x)-\log Q(x)]$$
$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\mathbb{E}}_{\mathrm{x}\sim P}[\log P(x)]-{\mathbb{E}}_{\mathrm{x}\sim P}[\log Q(x)]$$
$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=-H(P)-{\mathbb{E}}_{\mathbf{x}\sim P}[\log Q(x)]$$
$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=-H(P)+H(P,Q)$$

所以可得到交叉熵和 KL 散度的关系：
$$H(P,Q)=H(P)+D_{KL}(P\Vert Q)$$
在机器学习中，需要评估 label 和 predicts 之间的差距，使用 KL 散度刚刚好，即 $D_{KL}(\mathbf{y}\Vert \hat{\mathbf{y}})$。

由于 KL 散度中的前一部分 $-H(y)$ 不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用交叉熵做 loss，评估模型。

在信息论中，${\lim }_{x\to 0}x\log x=0$

JS 散度(Jensen-Shannon divergence)

JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。

一般地，JS 散度是对称的，其取值是 0 到 1 之间。定义如下：
$$JS(P_1\Vert P_2)=\frac{1}{2}KL(P_1\Vert \frac{P_1+P_2}{2})+\frac{1}{2}KL(P_2\Vert \frac{P_1+P_2}{2})$$

Wasserstein 距离

KL 散度和 JS 散度的问题

如果两个分布 $P,Q$ 离得很远，完全没有重叠的时候，那么 KL 散度值是没有意义的，而 JS 散度值是一个常数。这在学习算法中是比较致命的，这就意味着这一点的梯度为 $0$，梯度消失了。

Wasserstein距离 度量两个概率分布之间的距离，定义如下
$$W(P_1,P_2)=\underset{\gamma \sim \prod (P_1,P_2)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$