理解马尔可夫平稳条件

理解Markov平稳条件

看到西瓜书的近似推断的地方，蹦出来一个马尔可夫平稳条件,
$p(x^t)T(x^{t-1}|x^t)=p(x^{t-1})T(x^{t}|x^{t-1})$,看到这着实蒙了一会，之后查找一些资料后，终于搞明白这个公式是怎么来的了。

Markov Chain

马尔可夫链是由一个条件分布表示的$P(X_{t+1}|X_t)$,这个公式也被称为转移概率。$P(X_t)$表示当前时间X的概率分布。有$P(X_{t+1})=\int P(X_{t+1}|X_t)P(X_t)dX_t$。当$P(X_{t+1}=a) = P(X_t=a)\space\forall a\in X$ 时，我们称为平稳状态。

Marcov平稳条件

为了简单，我们假设X只有两种取值a，b，当到达平稳状态时，
[$P_{t+1}(a),P_{t+1}(b)$] = [$P_{t}(a),P_{t}(b)$].即：

$$\begin{matrix} p_{t}(a),p_{t}(b) \end{matrix}$$
*
$$\begin{matrix} P_{a|a} & P_{b|a}\\ P_{a|b} & P_{b|b} \end{matrix}$$

=

$$\begin{bmatrix} p_{t+1}(a),p_{t+1}(b) \end{bmatrix}$$

$$\begin{aligned} & p_{t+1}(a)=p_{t}(a)P_{a|a}+p_{t}(b)P_{a|b}\\ & p_{t+1}(b)=p_{t}(a)P_{b|a}+p_{t}(a)P_{b|b} \end{aligned}$$
因为 $p_{t+1}(a)=p_{t}(a),p_{t+1}(b)=p_{t}(b)$,所以
$$\begin{aligned} & p(a)(1-P_{a|a})=p(b)P_{a|b} \\ & p(a)P_{b|a}=p(b)P_{a|b} \end{aligned}$$
得证。

参考：
马尔可夫链