拉普拉斯近似算法小结

    在机器学习中,经常遇到需要对复杂分布进行近似的情况。目前常用的近似算法主要有三种:拉普拉斯近似、变分近似、Gibbs采样。其中拉普拉斯近似算法是用一个高斯分布来近似原始分布,当原始分布比较简单的时候效果会较好。

目标:

用一个高斯分布近似一组连续变量上的概率密度分布。

一维空间:

变量 z ,假设分布为 p(z)=1Zf(z) ,其中 Z=f(z)dz 是归一化项。拉普拉斯算法的目标是找到一个高斯近似分布 q(z) q(z) p(z) 的峰为中心。第一步:找 p(z) 的一个峰 z0 p(z0)=0 。第二步: 高斯分布的log是一个二次函数,所以 lnf(z) 进行泰勒展开,以 z0 为中心: 

lnf(z)lnf(z0)12A(zz0)2,A=d2dz2lnf(x)z=z0

两边取指数: 
f(z)f(z0)exp{A2(zz0)2}

归一化高斯函数: 
q(z)=(A2π)1/2exp{A2(zz0)2}

扩展到多维空间:

近似分布 p(z)=f(z)/Z 。泰勒展开,以 z0=f(z)  为中心: 

lnf(z)lnf(z0)12(zz0)A(zz0),A=lnf(z)|z=z0

两边取指数: 
f(z)f(z0)exp{12(zz0)A(zz0)}

归一化高斯函数: 
q(z)=|A|1/2(2π)M/2exp{12(zz0)A(zz0)}=N(z|z0,A1)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值