度量两种分布的距离之KL散度（Kullback-Leibler divergence）

KL散度（Kullback-Leibler divergence），又称为相对熵，是衡量两个概率分布之间差异的一种非对称性度量。它描述了一个分布$Q$相比于另一个分布$P$的信息损失，常用于信息论和机器学习领域。

定义

KL散度的数学定义为：

$$D_{\mathrm{KL}}(P\parallel Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}$$

或在连续情形下：

$$D_{\mathrm{KL}}(P\parallel Q)={\int }_{-\infty }^{\infty }p(x)\log \frac{p(x)}{q(x)}dx$$

其中：

• $P$ 和 $Q$ 是两个概率分布。
• $P(i)$ 和 $Q(i)$ 分别表示 $P$ 和 $Q$ 在某个事件 $i$ 上的概率。
• $p(x)$ 和 $q(x)$ 是对应的概率密度函数。

直观解释

KL散度衡量的是如果用分布$Q$来近似分布$P$，会有多少信息丢失。它本质上是计算每个事件的对数概率比值，再按$P$的概率加权平均。

性质

1. 非负性：$D_{\mathrm{KL}}(P\parallel Q)\ge 0$，且当且仅当$P=Q$时取等号。
2. 非对称性：$D_{\mathrm{KL}}(P\parallel Q)\ne D_{\mathrm{KL}}(Q\parallel P)$，这意味着交换两个分布的位置会得到不同的结果。
3. 无界性：$D_{\mathrm{KL}}(P\parallel Q)$可以是无穷大的，例如当$Q(i)=0$且$P(i)\ne 0$时。

举例说明

考虑两个简单的离散分布：

• 分布$P$： { P ( A ) = 0.4 , P ( B ) = 0.6 } \{P(A) = 0.4, P(B) = 0.6\} {P(A)=0.4,P(B)=0.6}
• 分布$Q$： { Q ( A ) = 0.5 , Q ( B ) = 0.5 } \{Q(A) = 0.5, Q(B) = 0.5\} {Q(A)=0.5,Q(B)=0.5}

计算$D_{\mathrm{KL}}(P\parallel Q)$：

$$D_{\mathrm{KL}}(P\parallel Q)=0.4\log \frac{0.4}{0.5}+0.6\log \frac{0.6}{0.5}$$

$$=0.4\log 0.8+0.6\log 1.2$$

$$=0.4\cdot (-0.2231)+0.6\cdot 0.1823$$

$$=-0.08924+0.10938$$

$$=0.02014$$

因此，$D_{\mathrm{KL}}(P\parallel Q)\approx 0.02014$。

这个值表明，如果我们用$Q$来近似$P$，会有一定的信息损失，但并不大。

应用

KL散度在许多领域都有应用，例如：

• 机器学习：用于衡量模型预测分布与真实分布之间的差异，特别是在变分推断和生成模型中。
• 自然语言处理：评估语言模型的性能。
• 信息论：分析编码方案的效率和信息压缩效果。

通过理解和应用KL散度，我们可以更好地比较和评估不同的概率分布，进而优化各种统计和机器学习模型。