点击阅读原文,查看精彩日程!
作者 | Valentina Alto
译者 | 陆离
出品 | Python大本营(ID:pythonnews)
马尔可夫链(Markov Chain),又称为离散时间马尔可夫链,可以定义为一个随机过程Y,在某时间t上的任何一个点的值仅仅依赖于在时间t-1上的值。这就表示了我们的随机过程在时间t上具有状态x的概率,如果给出它之前所有的状态,那么就相当于在仅给出它在时间t-1的状态的时候,在时间t上具有状态x的概率。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/783e9b529f540a084d8236131d23bef8.png)
如果可能的状态集S是有限的,那么,我们可以提供马尔可夫链的可视化表示结果,如下图所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/fd92709deb323eb2e11db7fc31838918.png)
上图中的每个圆圈都代表了一个状态,在这种情况下S={A, B, C},而箭头则表示过程从一个状态跳到另一个状态的概率。我们可以在一个称为“转移矩阵”P中收集所有的这些概率数据,如下图所示:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/d1a11003fb5735f25483fd857046dbbe.png)
那么,就有:
然后,在每个时间点上,我们可以描述过程的(无条件的)概率分布,这将是一个向量,其分量数等于S的维数。每个分量表示我们的过程取值等于给定状态的无条件概率。也就是: