读书笔记：Markov链的状态分类之周期性

（状态 $i$ 的周期）
$⨀$ 设 $i$ 为 $Markov$ 链的一个状态，使 $P_{ii}^{(n)}>0$ 的所有正整数 $n(n\ge 1)$ 的最大公约数，称作是状态 $i$ 的周期，记作 $d(i)$。
$⨀$ 如果对所有 $n\ge 1$，都有 $P_{ii}^{(n)}=0$，则约定周期为 $\infty$。
$⨀$ 对于 $d(i)=1$ 的状态，则称为是非周期的。

由定义可知，如果 $n$ 不能被周期 $d(i)$ 整除，则必有 $P_{ii}^{(n)}=0$。

=================================================

（命题）
如果 $i⟷j$，则 $d(i)=d(j)$。

=================================================

例题：已知 $Markov$ 链有状态 $0，1，2，3$ 和如下的状态转移概率矩阵。
$$\left(\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1/2& 0& 1/2& 0\end{array}\right)$$
试求状态 $0$ 的周期。
解：由状态转移概率矩阵，可得此 $Markov$ 链对应的概率转移图为：

通过观察此 $Markov$ 链对应的概率转移图，可得从状态 $0$ 出发再回到状态 $0$ 的可能步长为 T = { 4 , 6 , 8 , 10 , … } T=\{4,6,8,10,…\} T={4,6,8,10,…}，这些步长的最大公约数为$2$，故得状态0的周期 $d(0)=2$。

由于周期性是整个等价类所具有的一种性质。
因此，如果过程是不可约的，即整个过程只有一个等价类，则过程的每个状态都有相同的周期。
根据此性质，可得上例中的所有状态的周期都为 $2$。

【本文的 Markdown 代码】

（状态 $i$ 的周期）
$\bigodot$ 设 $i$ 为 $Markov$ 链的一个状态，使 $P_{ii}^{(n)} \gt 0$ 的所有正整数 $n(n \geq 1)$ 的最大公约数，称作是状态 $i$ 的周期，记作 $d(i)$。
$\bigodot$ 如果对所有 $n \geq 1$，都有 $P_{ii}^{(n)}=0$，则约定周期为 $\infty$。 
$\bigodot$ 对于 $d(i)=1$ 的状态，则称为是非周期的。

由定义可知，如果 $n$ 不能被周期 $d(i)$ 整除，则必有 $P_{ii}^{(n)}=0$。

=================================================

（命题）
如果 $i \longleftrightarrow j$，则 $d(i)=d(j)$。

=================================================

\
例题：已知 $Markov$ 链有状态 $0，1，2，3$ 和如下的状态转移概率矩阵。
$$
\left(
\begin{matrix}
  0 & 1 & 0 & 0 \\
  0 & 0 & 1 & 0 \\
  0 & 0 & 0 & 1 \\
  1/2 & 0 & 1/2 & 0 \\
\end{matrix}
\right)
$$
试求状态 $0$ 的周期。
解：由状态转移概率矩阵，可得此 $Markov$ 链对应的概率转移图为：
![在这里插入图片描述](https://img-blog.csdnimg.cn/ffd03839308c4c208e5640c3a4e1ac48.png#pic_center)
通过观察此 $Markov$ 链对应的概率转移图，可得从状态 $0$ 出发再回到状态 $0$ 的可能步长为 $T=\{4,6,8,10,…\}$，这些步长的最大公约数为$2$，故得状态0的周期 $d(0)=2$。

由于周期性是整个等价类所具有的一种性质。
因此，如果过程是不可约的，即整个过程只有一个等价类，则过程的每个状态都有相同的周期。
根据此性质，可得上例中的所有状态的周期都为 $2$。

\