拉普拉斯近似算法小结

序

    在机器学习中，经常遇到需要对复杂分布进行近似的情况。目前常用的近似算法主要有三种：拉普拉斯近似、变分近似、Gibbs采样。其中拉普拉斯近似算法是用一个高斯分布来近似原始分布，当原始分布比较简单的时候效果会较好。

目标：

用一个高斯分布近似一组连续变量上的概率密度分布。

一维空间：

变量$z$，假设分布为$p(z) = \frac{1}{Z} f(z)$，其中$Z = \int f(z) dz$是归一化项。拉普拉斯算法的目标是找到一个高斯近似分布$q(z)$，$q(z)$以$p(z)$的峰为中心。第一步：找$p(z)$的一个峰$z_0$，$p'(z_0) = 0$。第二步： 高斯分布的log是一个二次函数，所以对$\ln f(z)$进行泰勒展开，以$z_0$为中心：

$$\begin{equation} \ln f(z) \simeq \ln f(z_0) - \frac{1}{2}A(z - z_0)^2, \; A = - \left. \frac{d^2}{dz^2} \ln f(x)\right|_{z = z_0} \end{equation}$$
两边取指数：
$$\begin{equation} f(z) \simeq f(z_0) \exp\left\{- \frac{A}{2}(z - z_0)^2\right\} \end{equation}$$
归一化高斯函数：
$$\begin{equation} q(z) = \left(\frac{A}{2\pi}\right)^{1/2} \exp\left\{- \frac{A}{2}(z - z_0)^2\right\} \end{equation}$$

扩展到多维空间：

近似分布$p(\mathbf{z}) = f(\mathbf{z})/Z$。泰勒展开，以$\mathbf{z}_0 = \bigtriangledown f(\mathbf{z})$ 为中心:

$$\begin{equation} \ln f(\mathbf{z}) \simeq \ln f(\mathbf{z}_0) - \frac{1}{2}{(\mathbf{z} - \mathbf{z}_0)}^\top A(\mathbf{z} - \mathbf{z}_0), \; A = - \left. \bigtriangledown\bigtriangledown \ln f(\mathbf{z}) \right|_{\mathbf{z} = \mathbf{z}_0} \end{equation}$$
两边取指数：
$$\begin{equation} f(\mathbf{z}) \simeq f(\mathbf{z}_0) \exp\left\{- \frac{1}{2}{(\mathbf{z} - \mathbf{z}_0)}^\top A(\mathbf{z} - \mathbf{z}_0)\right\} \end{equation}$$
归一化高斯函数：
$$\begin{equation} q(\mathbf{z}) = \frac{|A|^{1/2}}{(2\pi)^{M/2}} \exp\left\{- \frac{1}{2}{(\mathbf{z} - \mathbf{z}_0)}^\top A(\mathbf{z} - \mathbf{z}_0)\right\} = \mathcal{N}(\mathbf{z}|\mathbf{z}_0, A^{-1}) \end{equation}$$