机器学习小屋
ltz0120
这个作者很懒,什么都没留下…
展开
-
ELBO公式推导 (variational inference)
Variational inference (变分推论)是为了解决当真实后验分布难以计算的情况下 (通常是因为无法直接计算),用一个方便学习的分布来近似真实后验分布.因此 对x的log-likelihood function可以写成. 其中是让学到的分布去接近真实后验分布,是variational lower bound,也叫evidence lower bound (ELBO).下面来计算:以上为一个简单的ELBO形式再继续往下推:...原创 2020-12-11 14:49:08 · 9479 阅读 · 0 评论 -
详解Markov Chain Monte Carlo (MCMC)
MCMC的本质是通过Markov Chain的stationary distribution(平稳分布)来指导随机采样的一种方法。说到MCMC, 首先要先了解什么是Monte Carlo和Markov Chain。1. Monte Carlo (蒙特卡罗方法):蒙特卡罗方法是指通过构造符合一定规则的随机数来解决数学上的各种问题,本质是根据采样来做估计期望(estimate expected value by sampling),用公式表达:就是根据x的分布p(x)来采样,并估算f(x)...原创 2020-11-12 12:00:24 · 2181 阅读 · 1 评论