KL散度详解

1、KL散度的概念

KL散度（Kullback-Leibler Divergence）一般用于度量两个概率分布函数之间的“距离”，其定义如下（参考文献[2]²、[4]⁴）：

$$KL[P(X)\Vert Q(X)]=\sum _{x\in X}\left[P(x)\log \frac{P(x)}{Q(x)}\right]=E_{x\sim P(x)}\left[\log \frac{P(x)}{Q(x)}\right]$$

  由于KL散度的计算公式中对 $x$ 进行了积分（连续型随机变量）或求和（离散型随机变量），因此KL与 $x$ 无关，因此也可以记为 $KL[P\Vert Q]$ 。

  注意到KL散度的定义中 $KL[P(X)\Vert Q(X)]$ 关于 $P(X)$ 、 $Q(X)$ 并不对称。根据公式，KL散度不满足对称性，即： $KL[P(X)\Vert Q(X)]\ne KL[Q(X)\Vert P(X)]$ ，因此，KL散度显然不是数学意义上的“度量”。

  KL散度的典型应用场景如下：假设某优化问题中, $P(X)$ 是真实分布（true distribution）， $Q(X)$ 是一个用于拟合 $P(X)$ 的近似分布（approximate distribution），可以尝试通过修改 $Q(X)$ 使得二者间的 $KL[P(X)\Vert Q(X)]$ 尽可能小,来实现用 $Q(X)$ 拟合 $P(X)$ ，如下图所示^[4]。

  在上面的概率拟合应用场景下， $KL[P(X)\Vert Q(X)]$ 也被称为前向KL散度（forward Kullback-Leibler Divergence），将 $KL[Q(X)\Vert P(X)]$ 称为反向KL散度（reverse Kullback-Leibler Divergence）。

  这里需要注意的是，只有在概率拟合的应用场景下（也就是确定了真实分布和拟合分布两个角色之后），前向KL散度 $KL[P(X)\Vert Q(X)]$ 和反向KL散度 $KL[Q(X)\Vert P(X)]$ 的定义才是有意义的，否则二者只是相同公式改变正负号、并交换 $P$ 和 $Q$ 符号表示之后的平凡结果。

2、两类KL散度拟合效果的定性分析

  极小化前向KL代价下的拟合行为特性：寻找均值（Mean-Seeking Behaviour）

  前向KL的计算式中， $P(x)$ 和 $Q(x)$ 在每个样本点 $x$ 上的差异程度被 $P(x)$ 加权平均，我们基于此对前向KL的特性进行分析。

  考虑随机变量 $X$ 的子集 $X_0=x|P(x)=0$ ，由于 $P(x)$ 是前向KL公式中的权重系数，因此 $X_0$ 中的元素实际上对前向KL的值没有任何影响。换言之，对任意 $x\in X_0$ ，无论 $P(x_0)$与 $Q(x_0)$ 相差多大都对前向KL的计算结果毫无影响，因此前向KL值不受 $Q(x)$ 在子集 { x ∣ P ( x ) = 0 } \{x|P(x) = 0\} {x∣P(x)=0} 上取值的影响。在极小化前向KL散度的过程中，每当 $P(x)=0$ ， $Q(x)$ 就会被无视。从连续性角度推理，最小化前向KL散度倾向于忽视“ $Q(x)$ 在满足 $P(x)$ 近似为 0 的随机变量取值集合上的拟合精度”，而去更努力的实现“ $Q(x)$ 在满足 $P(x)＞0$的随机变量取值集合上的拟合精度”。上述分析结论总结如下：

Wherever $P(\cdot )$ has high probability, $Q(\cdot )$ must also have high probability.^[4]

  下图展示了使用前向KL散度代价拟合一个多峰（实际上是双峰）分布的效果示意图（参考文献[4]）。

  前向KL散度的这种特性一般也被称为 zero avoiding，原因是它倾向于避免在任何 $P(x)＞0$的位置$x$ 使得 $Q(X)=0$ ^[4]。

极小化反向KL代价下的拟合行为特性：搜寻模态（Mode-Seeking Behaviour）

  在反向KL中，差异加权求和时的权重系数是 $Q(x)$ 。此时， $P(x)$ 在子集 { x ∣ Q ( x ) = 0 } \{ x|Q(x) = 0 \} {x∣Q(x)=0} 的取值不影响反向KL值的计算，而当 $Q(x)＞0$时， $Q(x)$ 与 $P(x)$ 的差异需要尽可能小以使得反向KL值尽可能小。上述分析结论总结如下（参考文献[4]）：

Wherever $Q(\cdot )$ has high probability, $P(\cdot )$ must also have high probability.^[4]

  下图展示了使用前向反向KL散度代价拟合一个多峰（实际是双峰）分布的效果示意图（参考文献[4]）。

  关于在前向KL拟合特性分析中，为什么说当 $P(x)$近似为 0 时，无论 $Q(x)$ 的取值如何（即使绝对值非常大）,一般都不会对前向KL散度计算产生影响的原因定性的论述如下。

  首先，如果当 $P(x)\to 0$ 时，$Q(x)$ 并不趋近于0，用数学语言可以描述为：存在一个 $\epsilon ＞0$, 有 $Q(x)＞\epsilon$。那么这时一定有

$$|P(x)\log (Q(x))|<|P(x)\log \epsilon |\to 0$$

  这说明，当概率分布 $Q(x)$有下大于0的下界（注意：由于 $Q$ 是概率分布，所以 $Q(x)$ 取值本就一定在 [$0,1$] 上）时，$P(x)\log (Q(x))$ 在 $P(x)$ 近似为0时实际可忽略的。

  其次，考虑如果 $Q(x)$ 也趋向于０，也就是 $|logQ(x)|\to \infty$ 时， $P(x)\log (Q(x))$ 的极限是否还是0？具体是如下问题：假设当 $P\to 0$ 时，也有 $Q\to 0$ ，且二者趋于0的“速度”是相近的，求 $P(x)\log (Q(x))$ 的极限。不妨将该问题按如下方法求解：
　　$$\underset{x\to 0}{\lim }x\ln x=\underset{n\to \infty }{\lim }\frac{1}{n}\ln \frac{1}{n}=-\underset{n\to \infty }{\lim }\frac{\ln n}{n}=0$$

  上面的定性证明过程中的第一个等号左边的表达式，其实也可以使用洛必达法则（L’Hospital’s rule）求解。该证明的意义在于说明：若 $PlogQ$ 中的 $P$ 和 $Q$ 以近似相同的速度趋向于0，则 $PlogQ$ 也会趋向于0。这背后隐含的意义是：只要 $P(x)$ 在 $x$ 处接近于0，那么 $Q(x)$ 无论取何值（这里的“无论”是指 $Q$ 有大于0的下界或至多是 $P$ 的等价无穷小量），那么 $P(x)log(Q(x))$ 就是可忽略的。这也就定性的证明，在拟合中 $Q$ 在在 $P(x)$ 中接近于0的那部分自变量集合上花费精力基本是无意义的，因此拟合结果 $Q$ 会表现为倾向于拟合 $P＞0$ 的那些区域。

其他示例

  前向KL和反向KL拟合效果的二维多峰（实际上是双峰 $P$ ）分布情况示例（参考文献[1]）：

上面图中蓝色的轮廓线代表一个有两个高斯分布组成双峰分布 $P(x)$ ，红色的轮廓线是使用单一高斯分布在最小化KL散度意义下对 $P(x)$ 进行拟合得到的最佳结果。其中图(a)是拟合代价选择前向KL散度 [公式] 时的拟合效果，图(b)时拟合代价选择反向KL散度 $KL(P||Q)$ 时的拟合效果，图©和图(b)使用相同的代价但展示的是到达反向KL散度代价的另外一个局部极小值点的效果。

3、两类KL散度拟合效果的数学推导

考虑到需要用人工设计的近似分布 $Q_{\theta }(X)$ 来拟合真实分布 $P(x)$ ，这里下标 $\theta$ 强调 $Q(x)$ 是一个受到参数 $\theta$控制的分布。例如： $Q(x)$ 是正态分布 $N(\mu ,{\sigma }^2)$ ， $P$是正态分布 $N(\mu ,{\sigma }_0^2)$ ，现在希望用 $Q$ 来拟合 $P$ ，其中 $Q$ 的均值和方差 { μ , σ 2 } \{\mu ,\sigma^2\} {μ,σ2} 就是拟合过程中可以调整的参数 $\theta$ 。于是基于前向KL和反向KL代价的分布拟合问题分别转化为以下两个优化问题（参考文献[4]）：

命题1. 极小化前向KL：$\arg {\min }_{\theta }KL(P||Q_{\theta })$等价于对参数 $\theta$ 的极大似然估计。

命题2. 极小化反向KL： $\arg {\min }_{\theta }KL(Q_{\theta }||P)$ 相当于在要求 $Q_{\theta }$在拟合 $P$ 的同时尽可能保持单一模态。

首先，证明命题一，过程如下：

$$\arg \underset{\theta }{\min }KL(P||Q)=\arg \underset{\theta }{\min }\left(E_{X\sim P}\left[-\log Q_{\theta }(X)\right]\right)+H(P(X))$$
$$=\arg \underset{\theta }{\min }{E}_{X\sim P}\left[-\log Q_{\theta }(X)\right]$$
$$=\arg \underset{\theta }{\max }{E}_{X\sim P}\left[\log Q_{\theta }(X)\right]$$
$$\approx \arg \underset{\theta }{\max }{E}_{X\sim P_{\text{data }}}\left[\log Q_{\theta }(X)\right]$$

其中 $H(P(X))=-{\sum }_x[P(x)\log P(x)]$，代表信息熵（Entropy）。上述推导的最终结果正好就是极大似然代价的定义式。

推导过程分析：上面的推导过程中，第2行到第3行利用了 $H(P(X))$ 是与优化自变量 $\theta$ 无关的，故删除该项不会改变最优化问题的解，因此可以直接省略。第3行到第4行则是通过来将求最小值问题转化为求最大值问题消去负号。第4行到第5行利用了机器学习训练中一般假设特征在样本集上的分布可以被近似看作真实分布，即： $H(P(X))=-{\sum }_x[P(x)\log P(x)]$ 。

综上命题1成立。

其次，证明命题2，推导如下：

$$\arg \underset{\theta }{\min }KL(P||Q)=\arg \underset{\theta }{\min }\left(E_{X\sim P}\left[-\log Q_{\theta }(X)\right]\right)+H(Q_{\theta }(X))$$

观察上面的等式右侧 [公式] 中的两项：

$$E_{X\sim Q_{\theta }}[-\log P(X)]+H\left(Q_{\theta }(X)\right)$$

要想令上面两项之和最小，就意味着要找到参数 $\theta$ 的一个合适的取值，使得上面两项中的每一项 $E_{X\sim Q_{\theta }}[-\log P(X)]$ 和 $H\left(Q_{\theta }(X)\right)$ 都尽可能小。根据熵的性质可知，当 $Q_{\theta }$ 越接近于均匀分布（当$X$ 是连续随机变量时，若 $X$ 是离散型随机变量便是离散取值的等概率分布，总之就是都可以看作等高多峰分布的极限情况）第二项 $H\left(Q_{\theta }(X)\right)$ 的值越大，反之当 $Q_{\theta }$ 越去向于单一模态分布（可以通俗理解为单峰分布） $H\left(Q_{\theta }(X)\right)$ 的值越小。因此反向KL散度相当于在要求 $Q_{\theta }$ 在拟合 $P$ 的同时尽可能保持单一模态。

综上命题2成立。

4、KL散度的计算

考虑有两个样本分布 $P$ 和 $Q$ 如下：

取值类型	$x_1$	$x_2$	$x_3$	$x_4$
$P$	3/5	1/5	2/5	0
$Q$	5/9	3/9	0	1/9

由于 $P$ 和 $Q$ 中都在某个取值上概率为 0，因此直接计算前向KL散度和反向KL散度

$$K{L}_{\text{forward }}(P\Vert Q)=\sum _{i=1}^4\left[P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}\right]$$
$$K{L}_{\text{backward }}(Q\Vert P)=\sum _{i=1}^4\left[Q\left(x_i\right)\log \frac{Q\left(x_i\right)}{P\left(x_i\right)}\right]$$

都会由于遇到分母为 0 的问题导致不可行。为此，介绍计算KL散度的平滑（Smoothing）方法^[5]：

引入一个微小常量 $\epsilon$，例如： $\epsilon =10^{-3}$ ，然后定义平滑的分布 $P^{\prime }$ 和 $Q^{\prime }$ 如下：

取值类型	$x_1$	$x_2$	$x_3$	$x_4$
$P$	$3/5-\epsilon /3$	$1/5-\epsilon /3$	$2/5-\epsilon /3$	$\epsilon$
$Q$	$5/9-\epsilon /3$	$3/9-\epsilon /3$	$\epsilon$	$1/9-\epsilon /3$

分别用 $K{L}_{\text{forward }}(P^{\prime }\Vert Q^{\prime })$ 和 $K{L}_{\text{backword }}(P^{\prime }\Vert Q^{\prime })$ 作为 $K{L}_{\text{forward }}(P\Vert Q)$ 和 $K{L}_{\text{backword }}(P\Vert Q)$ 的替代，这样正向KL和反向KL就都变得可以计算了。

5、KL散度 Python 实现

def kld_softmax(x, y):
	px = get_dis(x)
    py = get_dis(y)
    
    softmax_x = softmax(px)
    softmax_y = softmax(py)
    
    KL = 0.0
    for i in range(len(softmax_x)):
    	KL += softmax_x[i] * np.log(softmax_x[i] / softmax_y[i])
    return KL

def kld_smooth(x, y):
	px = get_dis(x)
    py = get_dis(y)
    # smoothing
    px -= 0.001/3
    py -= 0.001/3
    
    KL = 0.0
    for i in range(len(px)):
    	KL += px[i] * np.log(px[i] / px[i])
    return KL

def softmax(x,t=1):
    # 计算每行的最大值
    row_max = x.max()
 
    # 每行元素都需要减去对应的最大值，否则求exp(x)会溢出，导致inf情况
    row_max=row_max.reshape(-1, 1)
    x = x - row_max
 
    # 计算e的指数次幂
    x_exp = np.exp(x/t)
    x_sum = np.sum(x_exp, keepdims=True)
    s = x_exp / x_sum
    return s

6、References

[1]. Pattern Recognition and Machine Learning.

[2]. KL Divergence for Machine Learning.

[3]. Intuitive Guide to Understanding KL Divergence.

[4]. KL Divergence: Forward vs Reverse.

[5]. KL-divergence.pdf.

[6]. Variational Inference,.

[7]. GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation