拉普拉斯近似

拉普拉斯近似（Laplace Approximation）

对于后验分布，往往是难以解析表达的概率分布形式，进而其性质难以描述，例如期望的计算需要积分，而后验分布常常是难以积分的。

对此，一个简单的想法是利用某种性质良好的概率分布去近似后验分布。利用高斯分布近似后验分布的方法就是拉普拉斯近似。

公式

后验分布来源于贝叶斯公式。
$$p(\theta |y)=\frac{p(y|\theta )p(\theta )}{p(y)}$$
在此公式中，似然函数$p(y|\theta )$通常是已知的，先验分布$p(\theta )$也是已知的，而分母$p(y)={\int }_{\theta }p(y|\theta )p(\theta )d\theta$通常是难以计算的。其原因在于需要在$\theta$上进行积分，而两个密度函数的乘积会非常难以积分，特别是$\theta$常常是多维的。
另一方面，公式左侧是后验分布，是参数$\theta$的函数，与变量$y$无关。因此，不妨将公式右侧的分子部分记作：
$$\hat{p}(z)=p(y|\theta )p(\theta )$$
省略$y$，进而将归一化的后验分布记作：
$$p(z)=\frac{\widehat{p(z)}}{Z}$$其中，$Z$是归一化因子。注意这里之所以将$y$省略是因为$y$是某一固定取值，而非变量。这里将后验概率写为$p(z)$是为了和先验分布相区分。
在这样的设定下，拉普拉斯近似首先需要通过某种优化或其他方法，进行最大后验估计，从而得到MAP估计值。
$$z_{MAP}=\underset{z\in \Theta }{\mathrm{argmax}}p(z)$$
然后，我们需要在MAP值处对后验概率进行二阶的泰勒展开。进行二阶泰勒展开的原因是高斯分布是二次型，因此二阶泰勒展开会自然而然的导出一个高斯分布。
$$ln\widehat{p(z)}\approx ln\widehat{p(z)}-\frac{1}{2}(z-z_{MAP}{)}^{T}H(z-z_{MAP})$$其中，$H$是Hessian矩阵。那么一次项没有的原因是因为$z_{MAP}$是最大后验处，雅可比是零蛋。
两边同时取指数，仍然成立，有：
$$\widehat{p(z)}=\widehat{p(z_{MAP)}}exp(-\frac{1}{2}(z-z_{MAP}{)}^{T}H(z-z_{MAP}))$$
这是对未归一化概率分布的一个二次项，则高斯分布前面的常数就很容易的通过凑高斯的方法获得，协方差矩阵的逆由Hessian矩阵给出，维度已知，则常数可以写出。
$$p(z)=\frac{1}{(2\pi {)}^{\frac{k}{2}}|H{|}^{-\frac{1}{2}}}exp(-\frac{1}{2}(z-z_{MAP}{)}^{T}H(z-z_{MAP}))$$
上式就是完整的后验分布的拉普拉斯近似。

证据项的估计

基于对后验分布的拉普拉斯近似，对于贝叶斯公式上难以求得的分母也有了表达：
$$\begin{gathered} {\int }_{\theta }p(\theta |y)p(\theta )d\theta \\ \approx {\int }_z\widehat{p(z_{MAP)}}exp(-\frac{1}{2}(z-z_{MAP}{)}^{T}H(z-z_{MAP}))dz \end{gathered}$$
注意，$\theta$和$z$是一个变量，只不过上面为了区分后验和先验分布的表达，写作了两个变量。
把前面的$\widehat{p(z_{MAP}})$提出来，然后积里面的高斯分布，实际上就会得到高斯分布前面归一化常数的倒数，也就是$$(2\pi {)}^{\frac{k}{2}}|H{|}^{-\frac{1}{2}}$$这个东西,因此，将积分结果再乘以提出去的$\widehat{p(z_{MAP}})$，就得到：$$(2\pi {)}^{\frac{k}{2}}|H{|}^{-\frac{1}{2}}\widehat{p(z_{MAP}})$$
把$\widehat{p(z_{MAP}})$完整写出，在整理，就是：
$$p(y)=(2\pi {)}^{\frac{k}{2}}|H{|}^{-\frac{1}{2}}p(y|{\theta }_{MAP})p({\theta }_{MAP})$$
这在贝叶斯实验设计中可用作采样方法的一个近似。(Ryan, 2003)

Kenneth J Ryan (2003) Estimating Expected Information Gains for Experimental Designs With Application to the Random Fatigue-Limit Model, Journal of Computational and Graphical Statistics, 12:3, 585-603.