Kullback-Leibler (KL) 散度的计算简化推导

Kullback-Leibler (KL) 散度是衡量两个概率分布之间差异的一种度量方法。具体来说，对于两个概率密度函数 ( $p(x)$ ) 和 ( $q(x)$ )，从 ( $p$ ) 到 ( $q$ ) 的 KL 散度定义为：

$$D(p\Vert q)=\int p(x)\ln \frac{p(x)}{q(x)}dx$$

在我们的例子中，我们需要计算两个复高斯分布 ( $p_0(y_w)$ ) 和 ( $p_1(y_w)$ ) 的 KL 散度。首先，我们回顾一下这两个分布的形式：

$$p_0(y_w)=\frac{1}{\pi {\lambda }_0}\exp \left(-\frac{|y_w{|}^2}{{\lambda }_0}\right)$$

$$p_1(y_w)=\frac{1}{\pi {\lambda }_1}\exp \left(-\frac{|y_w{|}^2}{{\lambda }_1}\right)$$

为了计算 ( D(p_0 | p_1) )，我们需要把 ( p_0(y_w) ) 和 ( p_1(y_w) ) 带入 KL 散度的定义中：

$$D(p_0\Vert p_1)={\int }_{-\infty }^{+\infty }{p}_0(y_w)\ln \frac{p_0(y_w)}{p_1(y_w)}d{y}_w$$

首先，计算 ($\ln \frac{p_0(y_w)}{p_1(y_w)}$)：

$$\ln \frac{p_0(y_w)}{p_1(y_w)}=\ln \left(\frac{\frac{1}{\pi {\lambda }_0}\exp \left(-\frac{|y_w{|}^2}{{\lambda }_0}\right)}{\frac{1}{\pi {\lambda }_1}\exp \left(-\frac{|y_w{|}^2}{{\lambda }_1}\right)}\right)$$

将分子分母展开：

$$=\ln \left(\frac{1}{\pi {\lambda }_0}\exp \left(-\frac{|y_w{|}^2}{{\lambda }_0}\right)\cdot \frac{\pi {\lambda }_1}{\exp \left(-\frac{|y_w{|}^2}{{\lambda }_1}\right)}\right)$$

分开对数函数的乘法和指数：

$$=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)+\ln \left(\exp \left(-|y_w{|}^2\left(\frac{1}{{\lambda }_0}-\frac{1}{{\lambda }_1}\right)\right)\right)$$

$$=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)+\left(-|y_w{|}^2\left(\frac{1}{{\lambda }_0}-\frac{1}{{\lambda }_1}\right)\right)$$

现在，将这个结果代入 KL 散度的定义中：

$$D(p_0\Vert p_1)={\int }_{-\infty }^{+\infty }{p}_0(y_w)\left[\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)-|y_w{|}^2\left(\frac{1}{{\lambda }_0}-\frac{1}{{\lambda }_1}\right)\right]d{y}_w$$

我们将积分分成两部分：

$$D(p_0\Vert p_1)=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right){\int }_{-\infty }^{+\infty }{p}_0(y_w)d{y}_w-\left(\frac{1}{{\lambda }_0}-\frac{1}{{\lambda }_1}\right){\int }_{-\infty }^{+\infty }|y_w{|}^2{p}_0(y_w)d{y}_w$$

第一个积分部分是 PDF 的归一化条件，因此其值为 1：

$${\int }_{-\infty }^{+\infty }{p}_0(y_w)d{y}_w=1$$

第二个积分部分可以用复高斯分布的方差来表示。对于复高斯分布 ( p_0(y_w) )，其方差 (\lambda_0) 满足：

$${\int }_{-\infty }^{+\infty }|y_w{|}^2{p}_0(y_w)d{y}_w={\lambda }_0$$

因此，KL 散度的公式变为：

$$D(p_0\Vert p_1)=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)-\left(\frac{1}{{\lambda }_0}-\frac{1}{{\lambda }_1}\right){\lambda }_0$$

简化这个表达式：

$$D(p_0\Vert p_1)=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)-\left(1-\frac{{\lambda }_0}{{\lambda }_1}\right)$$

这是我们所需的 KL 散度公式：

$$D(p_0\Vert p_1)=\ln \left(\frac{{\lambda }_1}{{\lambda }_0}\right)+\frac{{\lambda }_0}{{\lambda }_1}-1$$

这个公式表明，从 ( $p_0$ ) 到 ( $p_1$ ) 的 KL 散度不仅取决于这两个分布的比例关系，还考虑了它们的方差比率对整体散度的影响。