直观理解概率图模型中的采样(sampling)技术

我们都知道，在概率图模型的推断中，精确推断方法通常需要很大的计算开销。因此，在现实应用中近似推断方法更为常用。这类方法一般分为2类：通过使用随机化方法完成近似，比如MCMC(Markov Chain Monte Carlo)；使用确定性近似完成近似推断，比如变分推断。本文主要讨论采样技术，基本思想是直接计算或逼近某个变量的期望往往比推断概率分布更加容易。西瓜书里举了一个非常直观的例子，假定我们的目标是计算函数$f(x)$在概率密度函数$p(x)$下的期望：

$$E_p[f]=\int f(x)p(x),$$

为了有效的计算期望，我们可根据$p(x)$抽取一组样本$\{x_1,\cdots,x_N\}$，然后计算$f(x)$在这些样本上的均值

$$\hat{f}=\frac{1}{N}\sum_{i=1}^Nf(x_i),$$

来逼近目标期望$E[f]$。若样本独立，基于大数定律，这种通过大量采样的方法就能获得较高的近似精度。
讲到这里，我们对采样技术有了一个直观的理解。目前有许对的关于采样的教程，来完整的讲述MCMC(构造一条马尔科夫链，收敛至平稳分布)，MH(Metropolis-Hastings, 基于拒绝采样来逼近平稳分布)，吉布斯采样(Gibbs sampling, 马尔科夫链的平稳分布也是采样的目标分布)。但是这些教程大多都是介绍其理论或者简单的罗列各个采样的步骤，并没有展示如何实现它们，如何运用到概率图模型的推断中；阅读后读者然后感到困惑，不知从何入手。本文的目标就是解决这些困惑，以一个实际中的视觉问题进行展开，直观的理解整个建模过程和近似推断。
我们考虑图像去噪，假设噪声图像为$X$，待还原的干净图像$Y$。那么我们的建模过程为$p(Y|X)$。也许看到这，我们都联想到了条件随机场(Conditinal random field, CRF)。CRF是给定一组随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。即输出变量之间存在成对马尔科夫性，局部马尔可夫性和全局马尔可夫性。这里不做详细介绍，可参考条件随机场(Conditinal random field)。为了套用CRF，一个基本假设图像中的像素只与它的直接相邻像素有联系（即具备条件独立性质），我们就可以得到一个具备局部马尔可夫性质（Local Markov property）的图模型：

从该模型可知，图像中两两相邻像素间构成最大团。$p(Y|X)$的定义为：

p(Y|X)