- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Gibbs采样
背景之前介绍了Metropolis-Hastings采样算法，只考虑了一元概率分布的样本生成问题。本文讨论如何将MH算法扩展到多元分布上，重点讨论Gibbs采样算法。Blockwise updatingBlockwise updating 是将MH扩展到多元分布上最简单的方法，就是选择一个和目标分布有相同维度的建议分布。例如如果要生成 NN 元概率分布的样本，我们就采用一个 NN 元的建议分布（pr
2017-12-29 10:25:48
1092
原创 MCMC
背景给定一个的概率分布 p(x)p(x), 我们希望产生服从该分布的样本。前面介绍过一些随机采样算法（如拒绝采样、重要性采样）可以产生服从特定分布的样本，但是这些采样算法存在一些缺陷（如难以选取合适的建议分布，只适合一元随机变量等）。下面将介绍一种更有效的随机变量采样方法：MCMC 和 Gibbs采样，这两种采样方法不仅效率更高，而且适用于多元随机变量的采样。如果一定条件下，马尔可夫链可以收敛到平稳
2017-12-26 20:24:27
15274
8
原创 马尔可夫链
背景马尔科夫性定义 设 X(t),t∈T{X(t),t \in T} 是一个随机过程，如果 X(t),t∈T{X(t),t \in T} 在 t0t_{0} 时刻所处的状态已知，它在时刻 t>t0t>t_{0} 所处的状态的条件分布于其在 t0t_{0} 之前所处的状态无关。 通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称 随机过程 X(t),t∈T{X(t
2017-12-26 11:23:26
4621
原创 随机变量采样
背景概率图模型通常很复杂，难以精确求解。随机模拟等近似算法是处理复杂概率图模型的一种有效手段。许多近似算法的一个关键步骤是生成符合特定分布的样本。对于一些标准的概率分布（如均匀分布、正太分布、指数分布等），通常容易进行采样（例如Matlab 的 Statistics Toolbox 支持许多标准的概率分布）。但是对于复杂的概率分布，很难直接进行采样，因此，我们需要借助其他的手段。下面介绍两种针对复杂
2017-12-25 21:37:10
2007
原创 蒙特卡罗模拟
背景随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子 弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法 并在最早的计算机上进行编程实现。均匀分布随机模拟中有一个重要的问题
2017-12-24 10:27:05
3449
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人