马尔可夫链及其平稳状态

马尔可夫链定义

马尔可夫链的定义如下

从定义中我们不难看出马氏链（一阶）当前状态只与前一个状态相关。比如我们预测明天天气，只考虑今天天气状况，不考虑昨天前天的天气状况。

马尔科夫链平稳状态

举个具体的例子。社会学家把人按其经济状况分为3类：下层，中层，上层，我们用1,2,3表示这三个阶层。社会学家发现决定一个人的收入阶层最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别，则它的孩子属于下层收入的概率为0.65，属于中层收入的概率为0.28，属于上层收入的概率为0.07。从父代到子代，收入阶层转移概率如下

我们用P表示这个转移矩阵，则

假设第1代人的阶层比例为
则前10代人的阶层分布如下

我们可以看到，在相同的转移矩阵作用下，状态变化最终会趋于平稳。对于第n代人的阶层分布，我们有

从表达式上我们可以看到，π是一维向量，P是两维矩阵，P进行足够多次自乘后，值趋于稳定。

马尔科夫链平稳状态定理

在转移矩阵P作用下达到的平稳状态，我们称之为马氏链平稳分布。对于这个特性，有如下精彩定理

我在这里直观的解释一下上面定理

条件
（1）非周期马氏链：马氏链转移要收敛，就一定不能是周期性的。不做特别处理，我们处理的问题基本上都是非周期性的，在此不做多余解释。
（2）存在概率转移矩阵P，任意两个状态是连通的：这里的连通可以不是直接相连，只要能够通过有限次转移到达即可。比如对于a, b, c状态，存在a->b, b->c，则我们认为a到c是可达的。
结论
（1）不论初始状态是什么，经过足够多次概率转移后，会存在一个稳定的状态π。
（2）概率转移矩阵自乘足够多次后，每行值相等。即

由于对任意初始概率向量有相等。当行相等时，则显然为定值。且
（3）显然，由于马氏链稳定后，所有状态转移到状态j的概率之和稳定。
4) π为马氏链稳定状态，π是方程πP=π的唯一非负解，其中：

马尔科夫链平稳状态定理的物理解释

我们再用一个更加简单的例子来阐明这个定理的物理含义。假设城市化进程中，农村人转移为城市人的概率为0.5，城市人转移为农村人的概率为0.1。

假设一开始有100个农村人，0个城市人，每代转移人数如下

可以看到，城市化进程中马尔科夫平稳状态就是农村人转移为城市人的速度等于城市人转移为农村人的速度。对于上述转移矩阵P，平稳分布为农村人17%，城市人83%。如果我们可以得到当前中国城市化转移矩阵P，我们就可以算出中国最终城市化率大概为多少（这里不考虑P的变化）。同时如果我们知道了中国城市化人口比例，我们就能知道城市化进程还可以持续多少代人。
参考博文：
https://www.cnblogs.com/coshaho/p/9740937.html
https://www.cnblogs.com/pinard/p/6632399.html#undefined