MCMC蒙特卡洛马尔可夫过程

很重要： https://www.cnblogs.com/pinard/p/6625739.html

参考：
MCMC https://zhuanlan.zhihu.com/p/253784711
     https://zhuanlan.zhihu.com/p/37121528
马尔科夫链：http://www.360doc.com/content/19/0226/08/32196507_817579538.shtml

定义

随机过程：考虑一个随机变量的序列 X = { X 0 , X 1 , X 2 . . . X t . . . } X=\{X_0,X_1,X_2...X_t...\} X={ X0​,X1​,X2​...Xt​...}
这里 $X_t$ 表示时刻 $t$ 的随机变量， $t=0,1,\mathrm{2...}$
每个随机变量的取值集合相同，称为状态空间，表示为 $S$ 。随机变量可以是离散的，也可以是连续的。
以上随机变量的序列构成随机过程(stochastic process)。

假设在0时刻的随机变量 $X_0$ 遵循概率分布 $P(X_0)={\pi }_0$，称为初始状态分布。在某个时刻 $t>=1$ 的随机变量 $X_t$ 与前一个时刻的随机变量 $X_{t-1}$之间有条件分布 $P(X_t|X_{t-1})$，如果 $X_t$只依赖于 $X_{t-1}$ ，而不依赖于过去的随机变量，这一性质称为马尔可夫性，即：

  $P(X_{}$