Metropolis 采样算法

---

前言

Metropolis 采样算法解决的问题是：从一个复杂的目标分布获取近似的样本。

---

马尔科夫链

概念描述

$X$是一个随机变量，其可能的取值来自于集合$\Omega=\{s_0,s_1,s_2,\cdots,s_{k-1},s_k\}$，$X$在离散时刻 t的取值为$X_t$ 。若$X$ 随时间变化的转移概率仅仅依赖于其当前时刻的取值$X_t$ ，即

$$P(X_{t+1}|[X_0,X_1,\cdots,X_t])=P(X_{t+1}|X_t)$$
那么随机变量 $X$ 随时间变化的过程是一个马尔科夫过程， $X$ 在[0，t]时间内随时间变化生成的序列 $(X_0,X_1,\cdots,X_t)$ 就是一个马尔科夫链。

转移概率矩阵

设随机变量 $X$ 在任意时刻t+1的取值为 $s_i$ 的概率为 $\pi_i^{t+1}$，即 $\pi_i^{t+1}=P(X_{t+1}=s_i)$，其中t为一个任意时刻。随机变量从状态$s_j$转移到状态$s_i$的转移概率为$P_{ji}$：

$$P_{ji}=P(X_{t+1}=s_i|X_t=s_j)$$
t 为任意时刻，那么我们可以得到 $\pi_i^{t+1}$ 的计算公式如下：
$$\pi_i^{t+1}=\sum_{j=0}^k P(X_{t+1}=s_i|X_t=s_j)*P(X_t=s_j)$$
我们注意到在上式中 $P(X_{t+1}=s_i|X_t=s_j)=P_{ji}$， P(Xt=sj)=π</