积跬步至千里 || 信息熵与KL散度

信息熵与KL散度

在1948年，香农(Shannon)在他著名的《通信的数学原理》论文中指出：“信息是用来消除随机不确定性的东西”，并提出了“信息熵”的概念（借用了热力学中熵的概念），来解决信息的度量问题。也就是量化信息（信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。）。
一个事件或一个系统，准确的说是一个随机变量，它有着一定的不确定性。要消除这个不确定性，就需要引入很多的信息，这些很多信息的度量就用“信息熵”表达。需要引入消除不确定性的信息量越多，则信息熵越高，反之则越低。

根据香农(Shannon)给出的信息熵公式，对于任意一个随机变量X，它的信息熵定义如下，单位为比特(bit)：

$$H[\mathbf{X}]={\mathbb{E}}_{\mathbf{x}\sim p(\mathbf{x})}[-\log p(\mathbf{x})]=-{\int }_{\mathbf{x}\in \mathbf{X}}p(\mathbf{x})\log p(\mathbf{x})d\mathbf{x}=-\sum _{\mathbf{x}\in \mathbf{X}}p(\mathbf{x})\log p(\mathbf{x})$$

条件熵

$$\begin{array}{rl}H[\mathbf{Y}|\mathbf{X}]& =\sum _{\mathbf{x}\in \mathbf{X}}{\mathbb{E}}_{\mathbf{x}\sim p(\mathbf{x})}[H(\mathbf{Y}|\mathbf{X}=\mathbf{x})]\\ & =-\sum _{\mathbf{x}\in \mathbf{X}}p(\mathbf{x})\sum _{\mathbf{y}\in \mathbf{Y}}[p(\mathbf{y}|\mathbf{x})\log p(\mathbf{y}|\mathbf{x})]\\ & =-\sum _{\mathbf{x}\in \mathbf{X}}\sum _{\mathbf{y}\in \mathbf{Y}}[p(\mathbf{x},\mathbf{y})\log p(\mathbf{y}|\mathbf{x})]\end{array}$$

KL 散度 Kullback-Leibler Divergence（相对熵）

KL散度用来衡量两个分布对于同一变量的差异情况。在概率学中，我们经常使用更简单的分布来近似观察数据或复杂分布。KL散度能帮助我们度量使用一种分布近似另一种分布时所损失的信息量。设 p 为观察得到的概率分布，q 为另一分布来近似p，则 p、q 的 KL 散度为：

$$D_{KL}(p\Vert q)={\mathbb{E}}_{\mathbf{x}\sim p(\mathbf{x})}[\log p(\mathbf{x})-\log q(\mathbf{x})]=\int p(\mathbf{x})(\log p(\mathbf{x})-\log q(\mathbf{x}))d\mathbf{x}$$

$$D_{KL}(p\Vert q)=\sum _{i}p({\mathbf{x}}_i)(\log p({\mathbf{x}}_i)-\log q({\mathbf{x}}_i))$$

显然，根据上述公式，K-L散度其实是统一随机变量x的原始分布p和近似分布q之间的对数差值的期望。如果继续用2为底的对数计算，则K-L散度值表示信息损失的二进制位数。K-L散度通常也被写为以下形式：

$$D_{KL}(p\Vert q)=\sum _{i}p({\mathbf{x}}_i)\cdot \log \frac{p({\mathbf{x}}_i)}{q({\mathbf{x}}_i)}$$