拉普拉斯近似

最新推荐文章于 2024-07-20 18:55:04 发布

NeverMore_7

最新推荐文章于 2024-07-20 18:55:04 发布

阅读量8.9k

点赞数 5

分类专栏：概率和统计高等数学机器学习与大数据线性代数深度学习文章标签：拉普拉斯近似采样高斯近似高斯拟合

本文链接：https://blog.csdn.net/unixtch/article/details/77603738

版权

机器学习与大数据同时被 3 个专栏收录

21 篇文章 1 订阅

订阅专栏

深度学习

19 篇文章 2 订阅

订阅专栏

概率和统计

11 篇文章 1 订阅

订阅专栏

问题背景

很多时候，无法确定一个概率分布的具体密度函数，因而在对这种分布进行后续操作（例如，作为贝叶斯学派求后验概率）时难度很大，无法进行。这时候则需要对这种无法精确知道分布函数的概率进行近似处理成已知的概率分布，从而方便计算或操作。拉普拉斯近似便是一种简单且广泛应用的近似方法，并且是很多采样方法的基础思想。

拉普拉斯近似

该方法的目的是找到一组定义在连续变量变量上的高斯近似，假设任一单一连续变量 $z$ ，假设分布 $p(z)$ 的定义为：

p (z) = 1 Z f (z)

$p(z)={1 \over Z }f(z)$ 其中

Z $Z$ 是归一化系数，为

Z=∫f(z)dz $Z=\int f(z)dz$ （联系

softmax $softmax$ ），

Z $Z$ 是未知的。拉普拉斯方法的目的是寻找一个高斯分布

q(z) $q(z)$ 来近似

p(z) $p(z)$ ，它的中心位于

q(z) $q(z)$ 的众数位置，即寻找一个点

z0 $z_{0}$ 使得

p′(z0)=0 $p^{'}(z_0)^=0$ ，也等价于：

d f ( z ) d z | z = z 0 = 0

${df(z) \over dz}|_{z=z_0}=0$ 考虑高斯分布的密度函数形式，它的对数有着变量的二次形式，故

lnf(z) $lnf(z)$ 进行泰勒展开有：

l n f (z) = l n f (z 0) - 1 2 A (z - z 0) 2 + R n

$lnf(z)=lnf(z_0)-{1 \over 2}A(z-z_0)^2+R_n$ 其中

A = - d 2 d z 2 l n f (z) | z = z 0

$A=-{d^2 \over dz^2}lnf(z)|_{z=z_0}$ 忽略余式

Rn $R_n$ ，并在两边同时取指数有：

f (z) = f (z 0) e x p {- A 2 (z - z 0) 2}

$f(z)=f(z_0)exp\{-{A \over 2}(z-z_0)^2\}$ 对比标准高斯分布函数，可以得到归一化的高斯分布

q(z) $q(z)$ ：

q (z) = (A 2 π) 1 2 e x p {- A 2 (z - z 0) 2}

$q(z)=({A \over 2\pi})^{1 \over 2}exp\{-{A \over 2}(z-z_0)^2\}$ 从这个式子可以看见（1）最后的近似高斯与原先

p(z) $p(z)$ 的归一化系数

Z $Z$ 无关，（2）

A>0 $A>0$ 时近似才有定义。也就是说

z=z0 $z=z_0$ 处

p(z0) $p(z_0)$ 具有波峰，对应

f(z0) $f(z_0)$ 局部最大值，并且

f(z0) $f(z_0)$ 的二阶导数小于0。

多维近似

将单变量的拉普拉斯近似进行推广，去近似 $M$ 维空间上 $\mathbf z$ 的概率分布 $p(\mathbf z)={f(\mathbf z) \over \mathbf Z}$ ，这里 $\mathbf z$ 和 $\mathbf Z$ 是向量，同理在驻点 $\mathbf z_0$ 有：

l n f (z) = l n f (z 0) - 1 2 (z - z 0) T A (z - z 0)

$lnf(\mathbf z)=lnf(\mathbf z_0)-{1 \over 2}(\mathbf {z-z_0})^TA(\mathbf {z-z_0})$ 其中

A $\mathbf A$ 是

M∗M $M*M$ 的

Hessian $Hessian$ 矩阵，定义为：

A = - \nabla \nabla l n f (z) | z = z 0

$\mathbf A=-\nabla\nabla lnf(\mathbf z)|_{\mathbf {z=z_0}}$ 其中

∇ $\nabla$ 为梯度算子，同理，两边取指数有：

f (z) = f (z 0) e x p {- 1 2 (z - z 0) T A (z - z 0)}

$f(\mathbf z)=f( \mathbf z_0)exp\{-{1 \over 2}( \mathbf {z-z_0})^T \mathbf A (\mathbf{z-z_0})\}$ 最后考虑多维高斯分布形式，有：

q (z) = | A | 1 2 2 π M 2 e x p {- 1 2 (z - z 0) T A (z - z 0)} = N (z | z 0, A - 1)

$q(z)={{|\mathbf A|}^{1 \over 2} \over {2\pi}^{M \over 2}}exp\{{-1 \over 2}(\mathbf z - \mathbf z_0)^T \mathbf A(\mathbf z- \mathbf z_0)\}=N(\mathbf z | \mathbf z_0, A^{-1})$ 同样，

A $\mathbf A$ 需要是正定的。

归一化系数的近似

前面说到在进行拉普拉斯近似的时候，归一化系数 $Z$ 是不需要知道的，但在某些时候需要用到 $Z$ ，我们同样可以都它进行近似。因为：

Z = \int f (z) d z

$\mathbf Z=\int f(\mathbf z)d\mathbf z$ 利用前面的对

f(z) $f(\mathbf z)$ 的泰勒展开，可得：

Z = f (z 0) \int e x p {- 1 2} (z - z 0) T A (z - z 0) d z

$\mathbf Z=f(\mathbf z_0)\int exp\{-{1 \over 2}\}(\mathbf z - \mathbf z_0)^T \mathbf A(\mathbf z- \mathbf z_0)d\mathbf z$ 也就是：

Z = f (z 0) 2 π M 2 A 1 2

$\mathbf Z=f(\mathbf z_0){{2\pi}^{M \over 2} \over {\mathbf A}^{1 \over 2}}$ 这里从2式到3式使用了概率积分为1的性质，所以后面的积分是多维高斯密度函数中归一化系数的倒数。

总结

拉普拉斯近似只需要寻找到众数 $\mathbf z_0$ ，然后该点处的黑塞矩阵， $\mathbf z_0$ 可以用优化算法得到，但往往在实际中，会存在多峰情况的分布，那么可以对不同的波峰进行拉普拉斯近似。在应⽤拉普拉斯⽅法时，真实概率分布的归⼀化常数 $\mathbf Z$ 不必事先知道。根据中⼼极限定理，我们可以预见模型的后验概率会随着观测数据点的增多⽽越来越近似于⾼斯分布，因此我们可以预见在数据点相对较多的情况下，拉普拉斯近似会更有⽤。