马尔可夫链-Chapman-Kolmogorov方程及其n步转移概率矩阵

 

马尔可夫过程：

马尔可夫过程按照其状态和时间参数是否连续或者离散分为三种：1.时间和状态都离散的叫做马尔科夫链，2.时间和状态都是连续的叫做马尔科夫过程，3.时间连续，状态离散的叫做连续时间的马尔科夫链。

 

马尔可夫过程，其特点是，当过程在时刻 T0所处的状态为已知的条件下，过程在 T 时刻（T>T0）所处的状态仅与时刻T0 有关，而与过程在T0之前的时刻无关系。

首先声明的是公式 P(n)=P(1)^n 表示计算的事n步转移概率矩阵，而不是某一点到另一点的n步转移概率。

以下不成立：Pij (n) != Pij(1)^n

马尔可夫链（Markov Chain）

例子：一个质点在[1,5]上随机游动，只能在时刻n为自然数发生移动且停留在1,2,3,4,5 五个点，在2,3，4点是以1/3的概率向左，2/3的概率向右，在5点上以概率1停留，在1点上以概率1移动到2.

 

一步转移概率矩阵：Pij(1) 从状态i 经过一步到达j状态的概率如下：

N步转移矩阵：Pij(n)从状态i 经过n步到达j状态的概率 Pij(n)=P(1)^n

理论基础:Chapman-Kolmogorov方程（c-k公式）

根据C-K方程，可知前面的例子的二步概率矩阵为a*a：矩阵乘法（MatLab 检验）

同理，N步转移概率矩阵

P(n) = P(n-1)P(1) = P(n-2)P(1)P(1) = ..... = P(1)^n

 

获取源码，关注公众号 木石说：mushiwords 。回复 ‘马尔科夫链’  关键字即可免积分免费获取matlab源码。

机器学习以及人工智能的学习需要扎实的数学功底才能走的更远，爬的更高，所以打好数学基础是关键，但无论工作学习都没有充足的时间去拿着书本一个字一个字的去学习了，这里我建议大家找几个比较靠谱入门的机器学习或者人工智能学习平台，一定要系统全面的去学习才能有效果，不要半途而废，

在此推荐一个人工智能入门教程，零基础教程，简单通俗易懂，风趣幽默，由浅及深，点击这里可以直达：人工智能入门基础教程