最常见的是,用马尔可夫链的平稳分布,来随机抽样,估计贝叶斯后验概率分布,(因为贝叶斯后验概率解析式相关的量或许不太好计算)。
那么如何利用马尔可夫链的平稳分布,来随机抽样呢?
这个就需要用到马尔可夫链的一些相关性质。
马尔可夫链在满足一些性质的前提下,一直不停迭代下去的话,最终会达到一个平稳状态,这个平稳状态概率分布只跟概率转换矩阵有关。
那么如何从平稳状态概率分布,来推出概率转换矩阵呢?
我们先来看看马尔可夫链自己的性质。
从上面描述可以看出,我们希望找到的马尔可夫链是非周期的,任意两个状态通过有限步可达,这些在实际应用中都是可以通过计算概率转换矩阵的 n 次幂来验证其是否收敛的。所以如何求概率转换矩阵P呢?只需求解一个概率转换矩阵P,使得 π P = π \pi P =\pi πP=π 成立。
这里就需要用到马尔可夫链的细致平稳条件。
方法是从任意的概率转换矩阵 Q Q Q 出发,找到一个接受概率矩阵 α ( i , j ) \alpha(i,j) α(i,j), 使得 π ( i ) Q ( i , j ) α ( i , j ) = π ( j ) Q ( j , i ) α ( j , i ) \pi(i)Q(i,j)\alpha(i,j)= \pi(j)Q(j,i)\alpha(j,i) π(i)Q(i,j)α(i,j)=π(j)Q(j,i)α(j,i).
事实上,我们的平稳分布 π \pi π 所对应的概率转换矩阵 P P P 满足,
P ( i , j ) = Q ( i , j ) α ( i , j ) P(i,j)=Q(i,j)\alpha(i,j) P(i,j)