机器学习-白板推导系列笔记（十三）-MCMC

此文章主要是结合哔站shuhuai008大佬的白板推导视频：MCMC_218min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、蒙特卡洛方法

蒙特卡洛方法（Monte Carlo Method）：基于采样的随机近似方法。
该方法旨在求得复杂概率分布下的期望值：

$E_{Z|x}[f(z)]=\int p(z|x)f\left(z\right)\text{d}z\approx \frac{1}{N}{\sum }_{i=1}^{N}f\text{(}{z}_i\text{)}$

其中 $z_i$ 是从概率分布 $p(z|x)$ 中取的样本，也就是从概率分布中取$N$个点来近似计算这个积分。

（一）概率分布采样

• a.求得概率密度函数PDF的累计密度函数CDF
• b.求CDF的反函数
• c.在0-1之间均匀取样，带入反函数，得到取样点

缺点：大部分PDF难以求得CDF

（二）拒绝采样（Rejection Sampling）

对于较复杂的概率分布 $p(z)$ ，引入简单的提议分布（proposal distribution）$q(z)$，使得任意的 $Mq(z_i)\ge p(z_i)$ ，然后对$q(z)$ 进行采样获得样本。具体的采样方法步骤为：

• a.选择概率密度函数为$q(z)$，作为提议分布，使其对任一$z$满足$Mq(z_i)\ge p(z_i)$，其中$M>0$；
• b.按照提议分布随机抽样$q(z)$得到样本$z_i$，再按照均匀分布在$(0,1)$范围内抽样得到$u_i$；
• c.如果$u_i\le \frac{p(z_i)}{Mq(z_i)}$，则将$z_i$作为抽样结果；否则，返回步骤b；
• d.获得$N$个样本，即结束。

优点：容易实现
缺点：采样效率可能不高

如果$p(z)$的涵盖体积占$Mq(z)$的涵盖体积的比例很低，就会导致拒绝的比例很高，抽样效率很低。
一般是在高维空间抽样，会遇到维度灾难的问题，即使$p(z)$与$Mq(z)$很接近，两者涵盖体积的差异也可能很大。

（三）重要性采样（Importance Sampling）

直接对期望$E_{p(z)}[f(z)]$进行采样

引入另一个分布$q(z)$：

$$\begin{gathered} E_{p\left(z\right)}\left[f\left(z\right)\right]=\int p\left(z\right)f\left(z\right)\text{d}z \\ =\int \frac{p\left(z\right)}{q\left(z\right)}q\left(z\right)f\left(z\right)\text{d}z \\ =\int f\left(z\right)\frac{p\left(z\right)}{q\left(z\right)}q\left(z\right)\text{d}z \\ \approx \frac{1}{N}\sum _{i=1}^{N}f\text{（}{z}_i\text{）}\underset{weight}{\underbrace{\frac{p\left(z_i\right)}{q\left(z_i\right)}}} \\ {z}_i\sim q(z),i=1,2,\cdots ,N \end{gathered}$$

于是在$q(z)$中采样，并通过权重计算和。

缺点：权重⾮常⼩的时候，效率非常低

重要性采样有⼀个变种 Sampling Importance Resampling，这种方法，首先和上面⼀样进行采样，然后在采样出来的N个样本中，重新采样，这个重新采样，使⽤每个样本点的权重作为概率分布进行采样。

二、齐次马尔可夫链

马尔可夫链：时间和状态都是离散的

（一）齐次马尔可夫链（一阶马尔可夫链）

X = { X 0 , X 1 , ⋯   , X t , ⋯   } X=\{X_0,X_1,\cdots,X_t,\cdots\} X={ X0​,X1​,⋯,Xt​,⋯}其中$X_t$表示$t$时刻的随机变量，并且每个随机变量的取值空间相同。
如果$X_t$只依赖于$X_{t-1}$，而不依赖于 { X 0 , X 1 , ⋯   , X t − 2 } \{X_0,X_1,\cdots,X_{t-2}\} { X0​,X1​,⋯,Xt−2​}，则称这一性质为马尔可夫性，即

$P(X_t|X_1,X_2,\cdots ,X_{t-1})=P(X_t|X_{t-1}),t=1,2,\cdots$

具有马尔可夫性的随机序列 X = { X 0 , X 1 , ⋯   , X t , ⋯   } X=\{X_0,X_1,\cdots,X_t,\cdots\} X={ X0​,X1​,⋯,Xt​,⋯}称为马尔可夫链（Markov Chain），或马尔可夫过程（Markov Process）。条件概率分布$P(X_t|X_{t-1})$称为马尔可夫链的转移概率分布。

当转移概率分布$P(X_t|X_{t-1})$与$t$无关，也就是说不同时刻的转移概率是相同的，则称该马尔可夫链为时间齐次的马尔可夫链（Time Homogenous Markov Chain），形式化的表达是：

$P(X_{t+s}|X_{t-1+s})=P(X_t|X_{t-1}),t=1,2,\cdots ;s=1,2,\cdots$

（二）概率转移矩阵

如果马尔可夫链的随机变量$X_t(t=0,1,2,\cdots )$定义在离散空间，则转移概率分布可以由矩阵表示。若马尔可夫链在时刻$t-1$处于状态$j$，在时刻t移动到状态$i$，将转移概率记作：
$q_{ij}=(X_t=i|X_{t-1}=j),i=1,2,\cdots ;j=1,2,\cdots$
满足：$q_{ij}\ge 0,{\sum }_i{q}_{ij}=1$
马尔可夫链的转移概率可以由矩阵表示，状态转移矩阵：（随机矩阵）

$$\begin{gathered} Q={\left[\begin{array}{ccccc}{Q}_{11}& Q_{12}& Q_{13}& \cdots & Q_{1k}\\ Q_{21}& Q_{22}& Q_{23}& \cdots & Q_{2k}\\ Q_{31}& Q_{32}& Q_{33}& \cdots & Q_{3k}\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ Q_{k1}& Q_{k2}& Q_{k3}& \cdots & Q_{kk}\end{array}\right]}_{k\ast k} \\ {p}_{ij}\ge 0,\sum _i{p}_{ij}=1 \end{gathered}$$

令 $q^{(t+1)}={\left[\begin{array}{cccc}(q^{(t+1)}(x=1)& q^{(t+1)}(x=2)& \cdots & q^{(t+1)}(x=k))\end{array}\right]}_{1\ast k}$

而 q ( t + 1 ) ( x = j ) = ∑ i = 1 k q ( t ) ( x = i ) Q i j q^{(t+1)}(x=j)=\sum_{i=1}^k{q^{(t)}(x=i)Q_{ij}} q(t+1)(x=j)=∑