emcee是一个强大的、易上手的python第三方的库，使用基于蒙特卡洛的算法实现对贝叶斯参数的估计（Bayesian Parameter Estimation）。如何对一个多维高斯密度函数进行采样p(x⃗ )∝exp[−12(x⃗ −μ⃗ )TΣ−1(x⃗ −μ⃗ )]p(\vec{x})\propto \exp\left [ -\frac12(\vec x-\vec \mu)^T\Sigma^

Gibbs 采样的最大作用在于使得对高维连续概率分布的抽样由复杂变得简单。可能的应用：计算高维连续概率分布函数的数学期望， Gibbs 采样得到 nn 个值，再取均值；比如用于 RBM；

仅知道概率密度是不狗的，需要的是样本，gibbs sampling 就是获取样本的。Gibbs 抽样是一种基于 MCMC（Markov Chain Monte Carlo）策略的抽样方法，具体来说对于一个 dd 维的随机向量 X=(x1,x2,…,xd)X=(x_1,x_2,\ldots,x_d)，但是我们无法直接求出 XX 的概率分布 p(X)p(X)，但我们知道给定的 XX 的其他分量关于第

MCMC: The Gibbs Sampler 多元高斯分布的边缘概率和条件概率 Marginal and conditional distributions of multivariate normal

坐标平面上的三点，A(x1,y1),B(x1,y2),C(x2,y1)A(x_1,y_1),B(x_1,y_2),C(x_2, y_1)，假设有概率分布 p(x,y)p(x,y)（P(X=x,Y=y)P(X=x,Y=y) 联合概率），则根据联合概率与条件概率的关系，则有如下两个等式：

离散型概率分布可通过简单的 0-1 区间上的均匀分布获得，假设某离散型概率分布 P=[p1,p2,…,pn]P=[p_1,p_2, \ldots, p_n]（∑pi=1\sum p_i=1，pip_i 表示状态为 ii 的概率） ，则通过 ρ∼U[0,1]\rho \sim U[0,1] 区间上的均匀分布，采用如下的方式（瓜分 0-1 的区间长度）：0≤ρ<p10\leq \rho<p_1 ⇒ 返

计算机本身是无法产生真正的随机数的，但是可以根据一定的算法产生伪随机数（pseudo-random numbers)。最古老最简单的莫过于 Linear congruential generator：xn+1=(axn+c)modmx_{n+1}=(ax_n+c)\mod m式中的 aa 和 cc 都是根据数学知识推导出的一些适合的常数，从 nn 向 n+1n+1，无疑是一种迭代式的推导情形，但

Metropolis 算法又叫 Metropolis 抽样，是模拟退火算法的基础，在早期的科学计算中蒙特卡洛方法（Monte Carlo）是对大量原子在给定温度下的平衡态的随机模拟，当蒙特卡洛算法计算量偏大。1953 年，Metropolis 提出重要性采样，即以概率来接受新状态，而不是使用完全确定的规则，

我们使用因子 p=2p=2，对一维信号 xx 进行上采样（一般为插入 0），则采样后的信号的长度为：(len(x) - 1) * (p-1) + len(x) == len(x)*p - p + 1x = 1:5;p = 2;y = zeros(length(x)*p - p + 1, 1);y(1:p:length(x)*p) = x;降采样则是以一定间隔的对原始信号进行切片（slice）：

We want the stationary distribution π(x)\pi(x) to be the posterior distribution P(x)P(x). So we set P(x)P(x→y)=P(y)P(y→x)P(x)P(x\to y)=P(y)P(y\to x) Rearranging, we get P(x)P(y)=P(y→x)P(x→y)\frac{P

Markov Chain Monte Carlo (MCMC) methods are a class of algorithms for sampling from a probability distribution based on constructing a Markov chain that has the desired distribution as its stationary d

统计学理论中，分层抽样针对的是对一个总体（population）进行抽样的方法。尤其适用于当总体内部，子总体（subpopulations）间差异较大时。每一个 subpopulation，也称为层（stratum）。