在MCMC之马尔可夫链之中我们介绍到,给定一个概率分布π,很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题,我们便可以找到一种通用的概率分布采样方法,进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。
1.马尔可夫链细致平稳条件
解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前,我们先看一下马尔可夫链的细致平稳条件。其定义为:如果非周期马尔可夫链的状态转移矩阵P和概率分布π(x)对于所有的i,j满足下列方程,则概率分布π(x)是状态转移矩阵P的平稳分布。
π ( i ) P ( i , j ) = π ( j ) P ( j , i ) \pi(i)P(i,j) = \pi(j)P(j,i) π(i)P(i,j)=π(j)P(j,i)
证明如下,由细致平稳条件有
∑ i = 1 ∞ π ( i ) P ( i , j ) = ∑ i = 1 ∞ π ( j ) P ( j , i ) = π ( j ) ∑ i = 1 ∞ P ( j , i ) = π ( j ) \sum _{i=1}^{\infty}\pi(i) P(i,j) = \sum _{i=1} ^{\infty} \pi(j) P(j,i) = \pi(j) \sum _{i=1} ^{\infty}P(j,i) = \pi(j) i=1∑∞π(i)P(i,j)=i=1∑∞π(j)P(j,i)=π(j)i=1∑∞P(j,i)=π(j)
将上式用矩阵表示为
π P = π \pi P = \pi πP=π
上式满足马尔可夫链的收敛性质,也就是说,只要我们找到可以使概率分布π(x)满足细致平稳分布的矩阵P即可。不过仅仅从细致平稳条件还是很难找到合适的矩阵P,比如我们的目标平稳分布使π(x),随机找一个马尔可夫链状态转移矩阵Q,他是很难满足细致平稳条件的,即
π ( i ) Q ( i , j ) ≠ π ( j ) Q ( j , i ) \pi (i) Q(i,j) \neq \pi(j) Q(j,i) π(i)Q(i,j)̸=π(j)Q(j,i)
那么有什么办法可以使这个等式相等呢?
2.MCMC采样
由于一般情况下,目标平稳分布π(x)和某一马尔可夫链状态转移矩阵Q不满足细致平稳条件,即
π ( i ) Q ( i , j ) ≠ π ( j ) Q ( j , i ) \pi (i) Q(i,j) \neq \pi(j) Q(j,i)